Apache Flinkによるストリーム処理

第10章 Flinkとストリーミングアプリケーションの演算子

この作品はAIを使って翻訳されている。ご意見、ご感想をお待ちしている：[e-mail]

ストリーミング・アプリケーション は長時間稼動し、そのワークロードはしばしば予測不可能である。ストリーミングジョブが数カ月間継続的に実行されることも珍しくないため、その演算子のニーズは、短命のバッチジョブとはまったく異なる。デプロイしたアプリケーションにバグが見つかった場合を考えてみよう。アプリケーションがバッチジョブなら、オフラインで簡単にバグを修正し、現在のジョブインスタンスが終了したら、新しいアプリケーションコードを再デプロイできる。しかし、ジョブが長時間実行されるストリーミングジョブの場合はどうだろうか？正しさを保証しながら、少ない労力で再構成を適用するにはどうすればいいのだろうか？

Flinkを使っているなら、何も心配することはない。Flinkが全ての大変な作業をやってくれるので、あなたは最小限の労力で、ジョブの監視、演算子、再設定を簡単に行うことができ、かつ、ジャストワンス・ステート・セマンティックを保つことができる。この章では、継続的に実行されるストリーミング・アプリケーションを運用・維持するためにFlinkが提供するツールを紹介する。メトリクスを収集し、アプリケーションを監視する方法と、アプリケーション・コードを更新したりアプリケーションのリソースを調整したいときに結果の一貫性を保持する方法を紹介する。

ストリーミング・アプリケーションの実行と管理

ご想像の通り、ストリーミング・アプリケーションのメンテナンスは、バッチ・アプリケーションのメンテナンスよりも難しい。ストリーミング・アプリケーションがアプリケーション状態 で継続的に実行されるのに対し、バッチ・アプリケーションは定期的に実行される。バッチアプリケーションの再構成、スケーリング、更新は、実行の合間に行うことができ、継続的にデータを取り込み、処理し、放出するアプリケーションをアップグレードするよりもずっと簡単である。

しかし、Apache Flinkには、ストリーミング・アプリケーションのメンテナンスを大幅に軽減する多くの機能がある。これらの機能のほとんどは、セーブポイントに基づいている。¹Flinkは、マスタープロセス、ワーカープロセス、アプリケーションを監視・制御するために、以下のインタフェースを公開している：

1. コマンドラインクライアントは、アプリケーションの送信と制御に使われるツールである。

2. REST APIは、コマンドラインクライアントとWeb UIで使用される基礎となるインタフェースである。ユーザやスクリプトからアクセスすることができ、すべてのシステムおよびアプリケーションのメトリックへのアクセスや、アプリケーションのサブミットや管理のためのエンドポイントを提供する。

3. Web UI は、Flink クラスタと実行中のアプリケーションに関する詳細やメトリックを提供する Web インタフェースである。また、アプリケーションのサブミットや管理のための基本的な機能も提供する。Web UI については"Flink Web UI" で説明している。

このセクションでは、セーブポイントの実用的な側面について説明し、FlinkのコマンドラインクライアントとFlinkのREST APIを使って、ステートフル・ストリーミング・アプリケーションを開始、停止、一時停止、再開、スケール、アップグレードする方法について述べる。 ...