技術要件信頼性の高いデータ・インジェスト・レイヤーを設計するデータ・インジェストにおけるApache Kafkaの役割Kafkaトピック構造を設計するKafkaクラスタを保護する信頼できるコンシューマの実装耐障害性とスケーラビリティの確保コンシューマグループと記録処理無効なメッセージを処理する下流への依存に対処するコンシューマとAPIの統合コネクションを作成するコンシューマ・ステートをデザインする状態管理の実装並行処理を行う再起動可能性を利用する加工された市場データのストアとクエリファイアホースの障害モードに対処するアテナにクエリを出すデータの保存とクエリのパフォーマンスを最適化するモニタリングと可観測性レジリエンスのテスト後片付け概要