Apache Flinkによるストリーム処理

第6章. タイムベース演算子とウィンドウ演算子

この作品はAIを使って翻訳されている。ご意見、ご感想をお待ちしている：[e-mail]

この章では、時間処理のためのDataStream APIメソッドと、Windowsのような時間ベースの演算子について説明する。時間セマンティクス "で学んだように、Flinkの時間ベースの演算子は、異なる時間の概念で適用することができる。

まず、時間特性、タイムスタンプ、透かしを定義する方法を学ぶ。次に、タイムスタンプと透かしへのアクセスを提供し、タイマーを登録できる低レベル変換であるプロセス関数をカバーする。次に、最も一般的なウィンドウタイプの組み込み実装を提供するFlinkのウィンドウAPIを使用する。また、カスタムのユーザー定義ウィンドウ操作や、代入演算子、トリガー、エヴィクターなどのコアウィンドウコンストラクトについても紹介する。最後に、時間通りにストリームに参加する方法と、遅いイベントを処理する戦略について説明する。

時間特性を設定する

分散ストリーム処理アプリケーションで時間演算子を定義するには、時間の意味を理解することが重要である。ウィンドウを指定してイベントを1分バケットで収集する場合、各バケットには正確にどのイベントが含まれるのだろうか？ DataStream APIでは、ウィンドウを作成するときに、時間の定義方法をFlinkに伝えるためにtime characteristicを使うことができる。時間特性は のプロパティである。 StreamExecutionEnvironmentのプロパティで、以下の値を取る：

ProcessingTime

は、演算子が実行中のマシンのシステムクロックに従ってデータストリームの現在時刻を決定することを 。処理時間ウィンドウは、マシン時間に基づいてトリガーされ、その時点ま でに演算子に到着した要素をすべて含む。一般化では、ウィンドウ操作に処理時間を使用すると、ウィンドウの内容が要素の到着速度に依存するため、非決定的な結果となる。この設定では、処理タスクがイベント時間を進めるために透かしを待つ必要がないため、遅延が非常に低くなる。

EventTime

は、演算子がデータそのものからの情報を使って現在時刻を決定する 。各イベントはタイムスタンプを持ち、システムの論理時刻は透かしによって定義される。タイムスタンプ "で学んだように、タイムスタンプはデータ処理パイプラインに入る前のデータ中に存在するか、またはソースでアプリケーションによって代入される。イベント・タイム・ウィンドウは、ある時間間隔のすべてのタイムスタンプが受信されたことを透かしが宣言したときにトリガーされる。イベント・タイム・ウィンドウは、イベントが順番通りに到着しなくても、決定論的な結果を計算する。Windowsの結果は、ストリームの読み取りや処理の速さには依存しない。

IngestionTime

は、 、インジェストされた各レコードにソース演算子の処理時間をイベント時間タイムスタンプとして付与し、透かしを自動的に生成する。これは、EventTime と ProcessingTime.イベントの取り込み時間は、それがストリーム処理装置に入った時間である。インジェスト時間は、決定論的な結果を提供せず、イベント時間と同様のパフォーマ ンスを持つため、イベント時間と比較して実用的な価値はあまりない。

例6-1は、"Hello, Flink!" ...