Kafkaコネクト

第2章 Apache Kafkaの基本 Apache Kafkaの基礎知識

この作品はAIを使って翻訳されている。ご意見、ご感想をお待ちしている：[e-mail]

Connect は Apache Kafka プロジェクトのコンポーネントの1つである。この章では、Kafkaの仕組みと、本書の残りの部分を完全に理解するために知っておくべき概念について簡単に説明する。また、Kafka Streams を含むさまざまな Kafka クライアントについて説明し、それらをローカルの Kafka クラスタに対して実行する方法を紹介する。Kafkaと関連クライアントは、本番環境でKafkaクラスタを運用している人がいたとしても、開発環境で実行する必要があるだろう。

Kafkaをすでによく理解している場合は、この章を飛ばして第3章にディレクトリを移動することができる。Apache Kafkaをもっと深く知りたい場合は、Kafka：The Definitive Guide(O'Reilly), Gwen Shapira et al.

分散イベント・ストリーミング・プラットフォーム

公式Webサイトでは、Kafkaは"オープンソースの分散イベントストリーミングプラットフォーム "と説明されている。技術的には正確な説明だが、多くの人がその意味、Kafkaとは何か、何に使えるかを理解するには、より詳細な説明が必要だ。では、その説明の各部分を見て、その意味を説明しよう。

オープンソース

そのオープン性により、増え続けるKafkaコミュニティによって多くのサードパーティ製ツールや統合が作成されている。

このプロジェクトは元々、、LinkedInで作成された。LinkedInでは、ユーザが生成する非常に大量のデータを処理するために、パフォーマンスと柔軟性に優れたメッセージングシステムが必要だった。2010年にオープンソースプロジェクトとしてリリースされ、2011年にApache Software Foundationに加わった。つまり、Apache Kafkaのコードはすべて公開されており、Apache License 2.0を遵守する限り、自由に使用・共有することができる。

注

アパッチソフトウェア財団（ASF）は、オープンソースプロジェクトを支援することを目的として1999年に作成された非営利の。インフラ、ツール、プロセス、法的サポートをプロジェクトに提供し、プロジェクトの発展と成功を支援している。世界最大のオープンソース財団であり、2021年現在、合計2億行以上のコードに及ぶ300以上のプロジェクトを支援している。

Kafkaのソースコードが公開されていることに加え、クライアント、サーバが使用するプロトコルも文書化されている。これにより、サードパーティは互換性のあるクライアントやツールを独自に書くことができる。増え続けるKafkaコミュニティによって、多くのサードパーティツールや統合機能が作成されている。Kafkaの開発がオープンで行われていることも注目に値する。新機能、バグ、修正、リリースなどに関する議論はすべて、メーリングリスト、GitHub、Jiraなどのパブリックスペースで行われる。新機能を追加するプロセスは明確に定義されており、、プロジェクトに追加される前にコミュニティで議論され、投票されなければならないKafka改善提案（KIP）を作成することも含まれる。

オープンなガバナンスとは、Apache Kafkaが、プロジェクトを中止したり使用条件を変更したりできる単一の企業によって管理されていないことを意味する。その代わりに、多様な貢献者の活発なグループによって管理されている。現在までに、Kafkaは1000人以上の個人から貢献を受けている。この大きなグループのうち、貢献を受け入れ、Kafkaコードベースにマージできるコミッターはごく一部（〜50人）だ。最後に、さらに小さなグループ（~30人）であるプロジェクト管理委員会（PMC） ...