AWS上のレジリエントなシステムの構築

第8章. リアルタイム市場データ分析

この作品はAIを使って翻訳されている。ご意見、ご感想をお待ちしている：[e-mail]

エドワード・カラハンは1867年、電信行を使って株式市場の最新情報を伝えるティッカーテープを発明した。この名前は、連続した情報を印字するマシンのリズミカルな音を指している。数年のうちに、他の発明家たちがこのプロトコルを基に、今日のニュースチャンネルで見られるような株価のスクロール更新へと進化させた。

ストリーミング情報は、株式業界を根本的に変革し、市場参加者が事実上どこからでも、一刻を争う意思決定を行えるようにした。企業はデータ消費方法を成熟させ、生データを実用的な洞察に変換し、マイクロ秒遅延で増え続けるデータ量でプロセスを活性化させている。

基礎となる技術は電信から電子回路へと変化したが、中核となるプロセスは残っており、業界を超えて複製されている。今日、データパブリッシャーはこれらのストリームを個別のトピックに整理し、コンシューマへの関連情報のデリバリ組織を最適化している。例えば、株の最新情報だけに興味のある人は、専用のトピックを購読し、無関係なノイズを避けることができる。

耐久性のあるリストからの逐次更新パターンは、マイクロサービスの同期に広く適用できる。最近の株価情報と顧客の株式ポートフォリオを管理する2つのサービスを想像してほしい。最近のアーキテクチャでは、スケーラビリティとパフォーマンス上の理由からマイクロサービス間でデータベースを共有することを避けており、より広いワークロードの状態の一貫したビューを維持するために個別のシステムの必要性が作成されている。イベント・ストリームを使用することで、クラウド・アーキテクチャ内のこうしたデータ同期シナリオを簡素化できる。

この章では、一般的なメッセージング・ソリューションであるApache Kafkaのようなオープンソース・テクノロジーを使って、レジリエンス・ストリーミング・アーキテクチャにアプローチする方法を学ぶ。フォールト・トレラントなプロデューサとコンシューマを実装するためのベスト・プラクティスを探求し、株式市場データに対するダウンストリーム分析を実装する。

この章が終わるころには、どうすればいいかわかるだろう：

• Amazon Managed Streaming for Apache Kafka (MSK)を使用して堅牢性の高いデータ取り込みレイヤーを設計、実装する。

• AWS Lambdaで耐障害性の高いプロデューサとコンシューマを構築する

• ストリーム処理とAPI統合で市場データを充実させる

• Amazon Data Firehoseを使用して処理されたデータをストアし、Amazon Athenaでクエリする。

• ストリーミング・パイプラインのパフォーマンスと信頼性を監視し、最適化する。

技術要件

このセクションでは、 ストリーミングアーキテクチャを、AWS Cloud Development Kit (AWS CDK)を使ってAWSアカウントにデプロイする。第 2 章では、AWS CDK のインストール、設定、トラブルシューティングの詳細な手順を説明する。この章の例をデプロイする：

1. 本書のGitHubリポジトリをローカルマシンにクローンする。

2. コマンド・ターミナルをch08-real-time_stocksフォルダに移動する。

3. コマンドを実行する cdk deploy.

4. コーヒーを飲んで30分で戻る。 ...