Rozdział 8. Typy i formaty z modelu MapReduce
W MapReduce używany jest prosty model przetwarzania danych. Dane wejściowe i wyjściowe funkcji mapujących i redukujących to pary klucz-wartość. W tym rozdziale szczegółowo opisano model MapReduce, a zwłaszcza stosowanie w nim danych w różnych formatach — od prostego tekstu po ustrukturyzowane obiekty binarne.
Typy w modelu MapReduce
Funkcje mapująca i redukująca w modelu MapReduce w Hadoopie mają następującą ogólną postać:
map: (K1, V1) → list(K2, V2)
reduce: (K2, list(V2)) → list(K3, V3)
Typy klucza i wartości w danych wejściowych etapu mapowania (K1 i V1) zwykle różnią się od typów w danych wyjściowych (K2 i V2). Jednak dane wejściowe na etapie redukcji muszą mieć te same typy do dane wyjściowe ...
Get Hadoop -- Komplety przewodnik. Analiza i przechowywanie danych now with the O’Reilly learning platform.
O’Reilly members experience books, live events, courses curated by job role, and more from O’Reilly and nearly 200 top publishers.
