Rozdział 17. Zdalna ekstrakcja danych z internetu

W poprzednim rozdziale zajmowaliśmy się kwestią wielowątkowego i wieloprocesowego działania robotów indeksujących. Techniki te cechują się dość ograniczoną komunikacją pomiędzy botami lub koniecznością jej ostrożnego planowania. Niniejszy rozdział opisuje logiczną konsekwencję tej koncepcji, czyli uruchamianie pełzaczy nie tylko w osobnych procesach, lecz wręcz na oddzielnych komputerach.

Zamieszczenie tego rozdziału na końcu książki wydaje się całkiem odpowiednim krokiem. Do tej pory korzystaliśmy ze skryptów z poziomu wiersza polecenia, w zaciszu komputera lokalnego. W pewnym momencie zainstalowaliśmy środowisko MySQL imitujące zachowanie rzeczywistego serwera bazodanowego, jednak to nie to ...

Get Ekstrakcja danych z językiem Python now with the O’Reilly learning platform.

O’Reilly members experience books, live events, courses curated by job role, and more from O’Reilly and nearly 200 top publishers.