Apache Spark によるストリーム処理

第20章. Sparkストリーミング・シンク

この作品はAIを使って翻訳されている。ご意見、ご感想をお待ちしている：[e-mail]

、DStreamとして表現されるソースを介してデータを取得し、DStream APIを使用して一連の変換を適用してビジネスロジックを実装した後、その結果を検査、保存、または外部システムに出力したい。

2章を思い出すと、一般的なストリーミングモデルでは、ストリーミング処理からデータを外部出力するコンポーネントをシンクと呼ぶ。 Spark Streamingでは、シンクはいわゆる出力演算子を使って実装される。

この章では、これらの出力演算子を通じて外部システムにデータを出力するためのSpark Streamingの機能と様式を探っていく。

出力演算子

出力演算子 は、すべてのSpark Streamingアプリケーションにおいて重要な役割を果たす。DStream上の計算をトリガーすると同時に、プログラマブルなインタフェースを介して結果データへのアクセスを提供する。

図20-1では、2つのストリームを入力として受け取り、一方を変換し、結果をデータベースに書き込む前にそれらを結合する、一般的なSpark Streamingジョブを示している。 実行時に、その出力操作で終わるDStream変換の連鎖がSparkジョブになる。

図20-1. Spark Streamingジョブ

このジョブはSpark Streamingスケジューラにアタッチされ、図20-2に示すように、スケジューラはバッチ間隔ごとに定義されたジョブの実行をトリガーする。

図20-2. Spark Streamingスケジューラー

出力演算子は以下をつなぐ役割を果たす：

• Dストリームの遅延変換シーケンス

• Spark Streamingスケジューラ

• 我々がデータをプロデュースする外部システム

実行モデルの観点からは、ストリーミングプログラムで宣言されたすべての出力演算は、プログラムで宣言されたのと同じ順序でSpark Streamingスケジューラにアタッチされる。 この順序は、前の演算が実行を終了した後に後の出力演算がトリガーされるシーケンスセマンティクスを保証する。 例えば、以下のコードスニペットでは、検索可能なインデックスに追加される前に、メディア資産をデータベースに格納している。 Spark Streamingで保証された出力演算の実行順序は、新しいメディアが検索インデックスを通じて検索可能になる前にメインデータベースに追加されることを保証する：

// assume a mediaStream is a DStream[Media],
// Media is the type that contains the meta-data for new audio/video assets

// Save to the assets database
mediaStream.foreachRDD ...