Rozdział 8. Typy i formaty z modelu MapReduce

W MapReduce używany jest prosty model przetwarzania danych. Dane wejściowe i wyjściowe funkcji mapujących i redukujących to pary klucz-wartość. W tym rozdziale szczegółowo opisano model MapReduce, a zwłaszcza stosowanie w nim danych w różnych formatach — od prostego tekstu po ustrukturyzowane obiekty binarne.

Typy w modelu MapReduce

Funkcje mapująca i redukująca w modelu MapReduce w Hadoopie mają następującą ogólną postać:

map: (K1, V1) → list(K2, V2)
reduce: (K2, list(V2)) → list(K3, V3)

Typy klucza i wartości w danych wejściowych etapu mapowania (K1 i V1) zwykle różnią się od typów w danych wyjściowych (K2 i V2). Jednak dane wejściowe na etapie redukcji muszą mieć te same typy do dane wyjściowe ...

Get Hadoop -- Komplety przewodnik. Analiza i przechowywanie danych now with O’Reilly online learning.

O’Reilly members experience live online training, plus books, videos, and digital content from 200+ publishers.