Rozdział 16. Zrównoleglanie procesu ekstrakcji danych
Ekstrakcja danych jest szybkim procesem. Zazwyczaj jest znacznie szybsza od tuzina wynajętych stażystów własnoręcznie kopiujących dane z internetu. Oczywiście rozwój technologii wraz z naszym młynem hedonistycznym sprawiają, że w pewnym momencie nawet obecne możliwości nie zapewniają dostatecznej szybkości. To właśnie w takich sytuacjach ludzie kierują swoją uwagę na obliczenia rozproszone.
W przeciwieństwie do większości innych działów technologicznych ekstrakcji danych nie możemy usprawnić wyłącznie poprzez „dodanie większej liczby cykli”. Jeden proces jest szybki, dołączenie drugiego niekoniecznie podwaja tę szybkość. Wprowadzenie trzech procesów może skończyć się banem za dławienie serwera ...
Get Ekstrakcja danych z językiem Python now with the O’Reilly learning platform.
O’Reilly members experience books, live events, courses curated by job role, and more from O’Reilly and nearly 200 top publishers.
