Apache Flinkによるストリーム処理

序文

この作品はAIを使って翻訳されている。ご意見、ご感想をお待ちしている：[e-mail]

本書で学べること

本書は、Apache Flinkを使ったストリーム処理について知っておくべきことをすべて教えてくれる。本書は11章から構成されており、首尾一貫したストーリーが展開されることを期待している。説明的でハイレベルな設計概念を紹介する章もあれば、より実践的で多くのコード例を含む章もある。

執筆当時は章順に読んでもらうことを想定していたが、ある章の内容に慣れた読者は、その章を読み飛ばしたくなるかもしれない。また、Flink のコードをすぐにでも書きたいという読者は、実践的な章を先に読んだ方がいいだろう。以下では、各章の内容を簡単に説明するので、興味のある章に直接飛ぶことができる。

• 第1章では、ステートフルストリーム処理の概要、データ処理アプリケーションアーキテクチャ、アプリケーション設計、従来のアプローチに対するストリーム処理の利点について説明する。また、ローカルのFlinkインスタンス上で最初のストリーミング・アプリケーションを実行する際の簡単なイメージも紹介する。

• 第2章では、Flinkとは関係なく、ストリーム処理の基本概念と課題について議論する。

• 第3章では、Flinkのシステムアーキテクチャと内部について説明する。分散アーキテクチャ、ストリーミングアプリケーションにおける時間と状態のハンドリング、Flinkのフォールトトレランスメカニズムについて述べている。

• 章では、Flink アプリケーションを開発しデバッグするための環境のセットアップ方法を説明する。

• 第5章では、FlinkのDataStream APIの基本を紹介する。DataStreamアプリケーションの実装方法と、どのストリーム変換、関数、データ型がサポートされているかを学ぶ。

• 第6章では、DataStream APIの時間ベースの演算子について説明する。これには、ストリーミング・アプリケーションで時間を扱う際に最も柔軟性を提供するプロセス関数だけでなく、ウィンドウ演算子や時間ベースの結合も含まれる。

• 第7章では、ステートフル関数の実装方法を説明し、ステートフル関数の性能、堅牢性、進化など、このトピックにまつわるすべてを議論する。また、Flinkのクエリ可能なステートの使い方も紹介する。

• 第8章では、Flinkで最もよく使われるソースコネクタとシンクコネクタを紹介する。エンドツーエンドのアプリケーション一貫性に対するFlinkのアプローチと、外部システムからデータを取り込み、外部システムへデータを送信するためのカスタムコネクタの実装方法について説明する。

• 第9章では、様々な環境におけるFlinkクラスタのセットアップと設定方法について説明する。

• 第10章では、24時間365日稼動するストリーミング・アプリケーションの運用、監視、メンテナンスについて説明する。

• 最後に、第11章では、質問をしたり、Flink関連のイベントに参加したり、Flinkが現在どのように使われているかを知るために使えるリソースを紹介している。

本書で使用されている慣例

本書では、以下の表記規則を用いている：

イタリック体

新しい用語、URL、メールアドレス、ファイル名、ファイル拡張子を示す。

Constant width

変数名や関数名、データベース、データ型、環境変数、文、キーワードなどのプログラム要素を示すために、プログラムリストや段落内で使用される。また、モジュール名やパッケージ名、ユーザが文字どおり入力すべきコマンドやその他のテキスト、コマンドの出力を示すためにも使われる。 ...