Skip to Main Content
データサイエンス設計マニュアル
book

データサイエンス設計マニュアル

by Steven S. Skiena, 小野 陽子, 長尾 高弘
January 2020
Beginner to intermediate content levelBeginner to intermediate
728 pages
10h 26m
Japanese
O'Reilly Japan, Inc.
Content preview from データサイエンス設計マニュアル
378 12 ビッグデータ:スケールを追求
プログラミングでも、Spark Hadoop よりも性能的に大きく進歩した要因の 1 つである。
12 -2
3 個の Map 2 個の Reduce を使って単語の出現頻度を数える MapReduce ジョブの処理の
流れを示したものである。局所的に結合処理が行われているため、入力ファイル内で複数回使われている単
語(この場合は「do」、「be」、「duty」)の出現頻度は、Reduce に放出される前に合計されている。
12 -2 は、マッピングの歪みの問題を示している。つまり、個々の Reduce に割り振られた作業量は、自
然に不均衡になる。この単純な例でも、上の Reduce は下の Reduce と比べて単語数にして 33 % 、頻度の数
値にして 60 % 多い。直列(並列処理なし)の実行時間が T のタスクの場合、n 個のプロセッサで完全な並
列処理ができれば、実行時間は T /n で済むはずである。しかし、MapReduce ジョブの実行時間は、最も大
きく、処理に時間がかかる箇所によって決まる。Map の歪みのために、最大のピースは平均サイズよりもか
なり大きくなってしまうことが多い。
たまたまのめぐり合わせは、確かに Map の歪みの原因の 1 つになる。n 枚のコインを投げて表と裏が同
じ枚数になることはまずない。しかし、キーの頻度がべき乗則分布に従っており、最も頻出するキーが出現
回数に影響することの方が原因としては深刻である。単語の出現頻度計算の問題について考えてみよう。単 ...
Become an O’Reilly member and get unlimited access to this title plus top books and audiobooks from O’Reilly and nearly 200 top publishers, thousands of courses curated by job role, 150+ live events each month,
and much more.
Start your free trial

You might also like

オブザーバビリティ・エンジニアリング

オブザーバビリティ・エンジニアリング

Charity Majors, Liz Fong-Jones, George Miranda, 大谷 和紀, 山口 能迪
Python機械学習クックブック

Python機械学習クックブック

Chris Albon, 中田 秀基
PythonによるWebスクレイピング 第2版

PythonによるWebスクレイピング 第2版

Ryan Mitchell, 黒川 利明, 嶋田 健志

Publisher Resources

ISBN: 9784873118918Other