Apache Spark によるストリーム処理

パートIV. 高度なSparkストリーミング・テクニック

このパートでは、Spark Streamingを使って作成できるより高度なアプリケーション、すなわち近似アルゴリズムと機械学習アルゴリズムについて検討する。¹

近似アルゴリズムは、Sparkのスケーラビリティを限界まで高めるための窓を提供し、データのスループットがデプロイの耐えられる範囲を超えた場合に、優雅に劣化させるテクニックを提供する。このパートでは、以下を取り上げる：

• ハッシュ関数とそのスケッチの構成要素への利用

• HyperLogLogアルゴリズムは、異なる要素をカウントするためのものである。

• Count-Min-Sketchアルゴリズムは、構造体の先頭要素に関するクエリに答えるためのものである。

また、クラスタリングテクニックを使って値の分布を簡潔に保存できる便利な推定量であるTダイジェストも取り上げる。

機械学習モデルは、常に変化するデータのストリームに対して、適切で正確な結果を出すための新しいテクニックを提供する。以下の章では、ナイーブ・ベイズ分類、決定木、K-Meansクラスタリングなど、よく知られたバッチ・アルゴリズムをストリーミングに適応させる方法を説明する。これにより、それぞれをカバーすることになる：

• オンライン・ナイーブ・ベイズ

• ホーフディングの木

• オンラインK-Meansクラスタリング

これらのアルゴリズムは、[Laserson2017]でバッチ形式でSpark向けに扱ったものをストリーミングで補完する形になる。これにより、データストリームの要素を分類したりクラスタリングしたりするための強力なテクニックが身につくはずだ。

¹Spark Streamingに焦点を絞って説明するが、HyperLogLogなど、説明するアルゴリズムの一部は、DataFrames APIの一部としてSparkの組み込み関数（approxCountDistinct など）に存在する。