
x
まえがき
データがこれよりも大きい場合には、そのビッグデータ問題が、実際にはスモールデータ問題の変
装ではないのか、注意した方がよいでしょう。データ全体は大きくても、問題を解くのに必要なデー
タは小さいことがよくあります。メモリに収まるデータの部分集合、サンプルの一部、あるいは、要
約統計量で、必要な問題に答えられることがあります。ここでの課題は、適切な小さなデータを探
すことであり、そのためには、多数の繰り返しが必要なことが多いでしょう。
別の可能性は、ビッグデータ問題が実際には、多数の小さなデータ問題だという場合です。個別
問題はいずれもメモリに収まるのですが、それが何百万もあります。例えば、データセットの各人に
適合するモデルを求めているとします。10 人から100 人の場合にはとても簡単ですが、百万人いる
と問題です。幸い、どの問題も他とは独立なので、異なるデータセットを異なるコンピュータに送る
ことができるシス
テム(HadoopかSpark)だけがあれば処理できます。本書で述べたツールを使って、
1つの部分集合の答えの出し方がわかれば、
sparklyr
,
rhipe
,
ddr
のような新たなツールを使い、デー
タセット全体の問題を解くことができます。
Python
、
Julia
、その他の言語
本書では、データサイエンスに役立つPython、Juliaその他のプログラミング言語については何も
学びません。それらのツールが良くないと考えているからではありません。むしろ、それらは役に立
ちます。実際には、ほ ...