Apache Spark によるストリーム処理

第8章 構造化ストリーム・プログラミング・モデル 構造化ストリーミング・プログラミング・モデル

この作品はAIを使って翻訳されている。ご意見、ご感想をお待ちしている：[e-mail]

Structured Streaming は、Spark SQLDataFrameとDatasetの API の上に構築された基盤の上に構築されている。ストリーミングワークロードをサポートするためにこれらの API を拡張することで、Structured Streaming は、Spark SQL によって導入された高レベル言語の特徴だけでなく、Catalyst クエリオプティマイザの使用、Project Tungsten によって提供された低オーバーヘッドのメモリ管理とコード生成を含む、基礎となる最適化も継承している。 同時に、Structured Streaming は、Spark SQL でサポートされているすべての言語バインディングで利用できるようになった：SparkSQLで使用されている中間クエリ表現のおかげで、プログラムのパフォーマンスは使用する言語バインディングに関係なく同じである。

Structured Streamingでは、すべてのウィンドウ操作と集約操作でイベント時間のサポートが導入され、イベントが処理エンジンに入った時間（処理時間とも呼ばれる）ではなく、イベントが発生した時間を使用するロジックを簡単にプログラムできるようになった。これらの概念は「時間の効果」で学んだ。

SparkエコシステムでStructured Streamingが利用可能になったことで、Sparkは従来のバッチ処理とストリームベースのデータ処理の開発者体験を統一することに成功した。

この章では、Structured Streamingのプログラミングモデルを、Structured Streamingでストリーミングジョブを作成するために通常必要とされる一連のステップを追って検討する：

• Sparkの初期化

• ソース：ストリーミング・データの取得

• ストリーミング・データに適用したい演算子を宣言する。

• シンク：結果のデータを出力する

Sparkの初期化

Sparkの目に見えるAPIの統合の点 、SparkSession 、Structured Streamingを使用するバッチアプリケーションとストリーミングアプリケーションの単一のエントリポイントになる。

したがって、Sparkジョブを作成するエントリポイントは、SparkバッチAPIを使用する場合と同じである。例8-1で示したように、SparkSession をインスタンス化する。

例8-1. ローカルSparkセッションの作成

import org.apache.spark.sql.SparkSession

val spark = SparkSession
  .builder()
  .appName("StreamProcessing")
  .master("local[*]")
  .getOrCreate()

Spark Shellを使う

Sparkシェルで 、Structured Streamingを探索する場合、SparkSession はすでにspark として提供されている。 Structured Streamingを使用するために追加のコンテキストを作成する必要はない。

ソースストリーミングデータの取得

Structured Streamingでは、 ...