Kafkaコネクト

第5章 コネクター コネクターの活躍

この作品はAIを使って翻訳されている。ご意見、ご感想をお待ちしている：[e-mail]

Kafka Connectの仕組みと使い方を学んだら、次はその知識を実践してみよう！この章では、Amazon Simple Storage Service (S3)用のシンクコネクタ、JDBCソースコネクタ、MySQLソースコネクタなど、最も一般的なコネクタを見て、実際に動かしてみる。これらのコネクタがターゲットとするユースケースと、最も重要な構成について説明し、様々なシナリオでの使い方を実演する。

これら3つのコネクターは、一般的なユースケースに対応し、あらゆる業界の多くのパイプラインで使用されている。これらの特定のコネクターを使用しない場合でも、カバーされているトピックの多くは、他のコネクターにも適用できることが期待される。

すべての例は、localhost:9092 でアクセス可能なBootstrapサーバでKafkaクラスタが動作していることを前提としている。

Confluent S3 シンク・コネクター

Kafka Connectの最も一般的なユースケースの1つは、Kafkaからストレージシステムにデータをエクスポートすることだ。多くの場合、データを処理した後も長期間保存しておく必要がある。法的な理由であったり、過去のデータを保存するためであったり、単に定期的にしか実行されないバッチ指向のシステムのためであったりする。Kafkaはデータを無期限にストアできるが、非常に大量のデータを扱う場合、Kafkaに永久に保存するのはコストがかかる。

Amazon S3のようなクラウド・ストレージ・システムは、大量のデータをギガバイトあたり低コストで長期間保存できるように設計されている。さらに、ストレージサービスはデータ処理ツールと統合されているため、データレイクとして利用することもできる。Kafkaからストレージサービスにデータをコピーするビルドパイプラインを構築するのは一般的だ。データをKafkaに戻したい場合は、ソースコネクタを使ってインポートすることができる。

このセクションでは、ConfluentHub の Web サイトから入手可能な Confluent S3 シンクコネクタを検証する。例と設定の説明では、コネクタのバージョン 10.5.1 を使用する。コミュニティは様々な S3 シンクコネクタを組み込み、その中から選択することができる; それぞれは独自の特殊性と構成設定を持っているが、全体として似たような関数を共有している。Confluent Hub から、Confluent コネクタのすべてのライブラリを含む ZIP ファイルをダウンロードできる。ダウンロードしたら、中身を解凍し、そのフォルダを Kafka Connect ランタイムのplugin.path に追加する。

まず、このコネクターが公開するコンフィギュレーションと、それを実行するさまざまな方法を見てみよう。

コネクタを設定する

Confluent S3 シンクコネクタは非常に 設定可能で、振る舞いを細かく調整するために 50 以上の設定を公開している。それらのほとんどには適切なデフォルトがあり、高度な設定のほとんどはオプションであるため、通常は少数の設定を行うだけでよい。このセクションでは、最も重要な設定を取り上げ、それらがどのように一般的なユースケースを可能にするかを説明する。基本を理解したら、設定の全リストを見て、あなたの使用例が高度なチューニングから利点があるかどうかを確認することをお勧めする。コネクタの動作を大幅に変更するいくつかの設定については、カスタム実装を提供できることに注意。 ...