Apache Spark によるストリーム処理

パート III. スパーク・ストリーミング

このパートでは、Spark Streamingについて学ぶ。

Spark StreamingはApache Sparkで最初に提供されたストリーミングAPIであり、現在世界中の多くの企業で実運用されている。 Spark StreamingはSparkのコア抽象化に基づいて強力で拡張可能な機能APIを提供する。 現在、Spark Streamingは成熟し安定している。

Spark Streamingの探求は、そのAPIの使用法とプログラミングモデルの初期感覚を提供する実践的な例から始まる。 このパートを進めるにつれて、堅牢性Spark Streamingアプリケーションのプログラミングと実行に関わる様々な側面を探求していく：

• 離散化ストリーム（DStream）抽象化を理解する

• APIとプログラミングモデルを使用したアプリケーションの作成

• ストリーミング・ソースとOutput Operationsを使用してデータを消費し、プロデュースする。

• SparkSQLと他のライブラリをストリーミング・アプリケーションに組み合わせる

• フォールト・トレランスの特性と堅牢性アプリケーションの作成方法を理解する。

• ストリーミング・アプリケーションの監視と管理

このパートが終了すると、Spark Streamingを使用したストリーム処理アプリケーションの設計、実装、実行に必要な知識を得ることができる。 また、ストリーム処理やオンラインマシン学習への確率的データ構造の適用など、より高度なトピックを扱うパートIVに備えることができる。