Skip to Main Content
Data science od podstaw
book

Data science od podstaw

by Joel Grus
October 2018
Intermediate to advanced content levelIntermediate to advanced
296 pages
8h 55m
Polish
Helion
Content preview from Data science od podstaw

Rozdział 24. Algorytm MapReduce

Przyszłość jest teraz, tylko nierówno rozłożona.

— William Gibson

MapReduce to model programistyczny przeznaczony do równoległego przetwarzania dużych zbiorów danych. Technika ta ma ogromne możliwości, ale jej podstawy są dość proste.

Załóżmy, że dysponujemy zbiorem obiektów, które chcemy jakoś przetworzyć. Obiekty te mogą być np. dziennikami stron internetowych, tekstami pochodzącymi z różnych książek, plikami graficznymi lub danymi w dowolnej innej formie. Podstawowa wersja algorytmu MapReduce wykonuje następujące kroki.

  1. Korzysta z funkcji mapper w celu przekształcenia każdego obiektu w zero lub więcej par klucz-wartość. (Funkcję tę często nazywa się po prostu map, ale w Pythonie istnieje wbudowana funkcja ...
Become an O’Reilly member and get unlimited access to this title plus top books and audiobooks from O’Reilly and nearly 200 top publishers, thousands of courses curated by job role, 150+ live events each month,
and much more.
Start your free trial

You might also like

Data science od podstaw

Data science od podstaw

Joel Grus
Praktyka czyni mistrza

Praktyka czyni mistrza

Dave Hoover, Adewale Oshineye

Publisher Resources

ISBN: 9781098125165