第16章. Sparkストリーミングを導入する
この作品はAIを使って翻訳されている。ご意見、ご感想をお待ちしている:translation-feedback@oreilly.com
Spark Streamingは、Sparkの分散処理機能の上に構築された最初のストリーム処理フレームワークであり、今日では、大規模なデータストリームを処理するために業界で広く採用されている成熟したAPIを提供している。
Sparkは、設計上、マシンのクラスタ上に分散したデータを処理するのが得意なシステムである。 Sparkの核となる抽象化であるレジリエンス分散データセット(RDD)とその流暢な関数型APIは、分散データをコレクションとして扱うプログラムの作成を可能にする。 この抽象化によって、分散データセットの変換という形でデータ処理ロジックを推論することができる。 そうすることで、スケーラブルな分散データ処理プログラムの作成と実行に必要だった認知負荷が軽減される。
Spark Streamingは、Sparkの分散コンピューティング機能をストリーム処理に適用することで、連続的なデータストリームをSparkが演算子として使用できる個別のデータコレクションに変換するという、シンプルかつ強力な前提に基づいて作成された。
図16-1を見るとわかるように、 、Spark Streamingの主なタスクは、ストリームからデータを取得し、それを小さなバッチにパッケージングし、さらに処理するためにSparkに提供することである。 出力はその後、下流のシステムに出力される。
図16-1. SparkとSpark Streamingの動き
Dストリームの抽象化
Part IIで学んだ Structured Streamingが、Spark SQLの抽象化であるDataFrame とDataset の上にストリーミング機能を構築しているのに対して、Spark StreamingはRDDというもっと基本的なSparkの抽象化に依存している。 同時に、Spark Streamingは新しい概念である離散化ストリーム(Discretized StreamまたはDStream)を導入している。 DStreamは、図16-2でわかるように、ストリームをデータの離散的なブロックで表し、それが時間経過とともにRDDとして表現される。
図16-2. Spark StreamingにおけるDStreamとRDD
DStream抽象化は主に実行モデルであり、関数型プログラミングモデルと組み合わせることで、ストリーミング・アプリケーションを開発・実行するための完全なフレームワークを提供する。
プログラミング・モデルとしてのDStreams
DStreamsの コード表現は、RDD APIと一貫性のある機能的なプログラミングAPIを提供し、集約、時間ベースの操作、ステートフルな計算を処理するためのストリーム固有の関数で補強されている。 Spark Streamingでは、SocketInputStream ...
Become an O’Reilly member and get unlimited access to this title plus top books and audiobooks from O’Reilly and nearly 200 top publishers, thousands of courses curated by job role, 150+ live events each month,
and much more.
Read now
Unlock full access