
ビッグデータ
235
12
章
ビッグデータ
コンピュータが日に日に高速化し、メモリも増え続ける一方で、扱うデータのサイズも同様に増加し
続けています。実際、コンピュータの処理速度よりも、データサイズのほうが速いペースで増加してい
ます。これは、いずれ処理能力が追いつけない日が来ることを意味します(今は良いかもしれません
が)。
ビッグデータとは何か? どこからがビックデータであり、どこからがビックデータではなくなるの
か?
―
そのようなことに答えることは簡単ではありません。そこで、ここでは次のような定義を採用
することにします。それは、データが大きすぎるため処理を終えることができない、そのような場合
「ビッグデータ」と呼ぶことにします。それは、ある分野ではペタバイトのデータや1兆個のトランザク
ションかもしれません。その場合、一台のハードディスクには入りきらないでしょう。また他のケース
としては、その数百倍小さいデータであるかもしれ
ません。
本章の前半では、これまでに学んだ経験を活かして、中規模程度のデータ(大き過ぎず、小さくない
データ)を対象にシステムを作成します。そこではjugと呼ばれるパッケージを用います。jugを用いる
ことで、次のようなことができます。
●
一連の処理をタスクに分割する
●
中間結果をキャッシュ(記憶)する
●
マルチコアを利用する(グリッド上の複数台コンピュータを含む)
本章の後半では、本当のビッグデータへ進みます。そして、クラウド(特に、Amazon Web
Servicesのインフラ)の ...