Skip to Main Content
Hadoop -- Komplety przewodnik. Analiza i przechowywanie danych
book

Hadoop -- Komplety przewodnik. Analiza i przechowywanie danych

by Tom White
March 2015
Intermediate to advanced content levelIntermediate to advanced
672 pages
25h 16m
Polish
Helion
Content preview from Hadoop -- Komplety przewodnik. Analiza i przechowywanie danych

Rozdział 8. Typy i formaty z modelu MapReduce

W MapReduce używany jest prosty model przetwarzania danych. Dane wejściowe i wyjściowe funkcji mapujących i redukujących to pary klucz-wartość. W tym rozdziale szczegółowo opisano model MapReduce, a zwłaszcza stosowanie w nim danych w różnych formatach — od prostego tekstu po ustrukturyzowane obiekty binarne.

Typy w modelu MapReduce

Funkcje mapująca i redukująca w modelu MapReduce w Hadoopie mają następującą ogólną postać:

map: (K1, V1) → list(K2, V2)
reduce: (K2, list(V2)) → list(K3, V3)

Typy klucza i wartości w danych wejściowych etapu mapowania (K1 i V1) zwykle różnią się od typów w danych wyjściowych (K2 i V2). Jednak dane wejściowe na etapie redukcji muszą mieć te same typy do dane wyjściowe ...

Become an O’Reilly member and get unlimited access to this title plus top books and audiobooks from O’Reilly and nearly 200 top publishers, thousands of courses curated by job role, 150+ live events each month,
and much more.
Start your free trial

You might also like

Zwinna analiza danych. Apache Hadoop dla każdego

Zwinna analiza danych. Apache Hadoop dla każdego

Russell Jurney
Przetwarzanie języka naturalnego z wykorzystaniem transformerów

Przetwarzanie języka naturalnego z wykorzystaniem transformerów

Lewis Tunstall, Leandro von Werra, Thomas Wolf

Publisher Resources

ISBN: 9781098125301