Apache Spark によるストリーム処理

第11章. 構造化ストリーミング・シンク

この作品はAIを使って翻訳されている。ご意見、ご感想をお待ちしている：[e-mail]

前章では、構造化ストリーミングが処理するためのデータを取得するための抽象化であるソースについて学んだ。 データが処理された後、我々はそのデータを使って何かをしたいと思うだろう。 後でクエリするためにデータベースに書き込んだり、さらに（バッチ）処理するためにファイルに書き込んだり、データを動かし続けるために別のストリーミングバックエンドに書き込んだりしたいかもしれない。

Structured Streamingでは、シンクは外部システムへのデータ作成方法を表す抽象化である。 Structured Streamingにはいくつかのビルトインソースが付属しており、ネイティブにはサポートされていない他のシステムへのカスタムシンクを作成できるAPIを定義している。

この章では、シンクがどのように機能するかを見て、Structured Streamingが提供するシンクの詳細を確認し、デフォルトの実装ではサポートされていないシステムにデータを書き込むためのカスタムシンクの作成方法を探る。

シンクを理解する

シンクは、 、構造化ストリーミングの内部データ表現と外部システム間の出力アダプターとして機能する。 ストリーム処理の結果得られるデータの書き込みパスを提供する。 さらに、信頼性の高いデータ配信のループを閉じる必要もある。

エンドツーエンドの信頼できるデータ配信に参加するために、シンク（ ）はべき等書き込みオペレーションを提供しなければならない。べき等とは、オペレーションを2回以上実行した結果が、オペレーションを1回実行した結果と等しいことを意味する。 障害から復旧する際、Sparkは障害発生時に部分的に処理されたデータを再処理することがある。 ソースの側では、これは再生機能を使用することで行われる。ソースを理解する」を思い出してほしいが、信頼できるソースは、所定のオフセットに基づいて、コミットされていないデータを再生する手段を提供しなければならない。 同様に、シンクは、 、重複レコードを外部ソースに書き込む前に削除する手段を提供しなければならない。

、再生可能なソースとべき等なシンクの組み合わせが、構造化ストリーミングに、実質的に正確に一度だけデータを配信するセマンティクスを与えている。べき等な要件を実装できないシンクは、エンドツーエンドの配信保証が、 、せいぜい「少なくとも一度」のセマンティクスになる。ストリーミングプロセスの失敗から回復できないシンクは、データを失う可能性があるため、「信頼できない」とみなされる。

次のセクションでは、構造化ストリーミングで利用可能なシンクについて詳しく説明する。

注

サードパーティのベンダが、自社製品向けにカスタム構造化ストリーミング・シンクを提供している場合がある。 これらの外部シンクをプロジェクトに組み込む場合は、そのベンダのドキュメントを参照し、サポートしているデータ配信保証を確認すること。

利用可能なシンク

Structured Streaming には、サポートされているソースにマッチするいくつかのシンクと、一時記憶装置やコンソールにデータを出力するシンクが付属している。 大雑把に言えば、提供されているシンクを信頼性の高いものと学習／実験サポートに分けることができる。 さらに、任意の外部システムと連携できるプログラマブル・インタフェースも提供されている。 ...