Python 3 -- Das umfassende Praxisbuch

Kapitel 32: Parallele Datenverarbeitun‌‌g

In den Computern dieser Welt befinden sich gigantische Datenmengen aus den unterschiedlichsten Lebensbereichen, die über das Internet frei verfügbar sind und von jedermann ausgewertet werden können. Die NASA bietet jede Menge Bildmaterial von Weltraumprojekten an, darunter einen kompletten Infrarot-Atlas unserer Galaxis (45 TB). Twitter ermöglicht es Ihnen, den Stream von Tweets – die so genannte Firehose – »abzuhören« und Kommunikationsdaten zu sammeln. Von Wikipedia bekommen Sie Traffic-Statistiken für drei Monate (150 GB).

Große Datenmengen (Big Data) zu verarbeiten, ist ein zeitaufwändiger Job. Manche Leute sagen, Big Data fängt da an, wo man sich ernsthaft Gedanken über die Effizienz der Auswertungsprogramme ...