AWS上のレジリエントなシステムの構築

第9章. 信頼性の高いニュースフィードの取り込みと検索APIを構築する

この作品はAIを使って翻訳されている。ご意見、ご感想をお待ちしている：[e-mail]

19世紀初頭、ロスチャイルド銀行一族の名士ネイサン・ロスチャイルドは、金融市場におけるタイムリーな情報の力を実証した。伝説によると、ロスチャイルドは、1815年のワーテルローの戦いで英国が勝利したというニュースを、政府の公式ルートよりも早く受け取ったという。彼はこの知識を利用して、他のトレーダーを惑わし、イギリス国債をパニック売りに出し、密かに暴落した価格で買い占めた。勝利の公式ニュースがロンドンに届くと、債券価格は急騰し、ロスチャイルドは莫大な利益を得た。

この話には異論もあるが、現代の通信技術が発達する以前、独占的な情報にアクセスすることがいかに投資家にとって大きな利点であったかを物語っている。今日、あらゆる業界の企業が、意思決定や競争力維持のためにリアルタイムの情報を利用している。ニュース記事や非構造化データを取り込み、処理し、提供する信頼性の高いシステムを構築することで、タイムリーな情報検索と分析の力を引き出すことができる。

この章では、AWS 上でのニュースフィードの取り込みと検索アーキテクチャの設計と実装を検討する。信頼性の低いソースから記事を取得する際の課題と、これらの課題を優雅に扱うテクニックを検討する。Amazon MemoryDB for RedisとAmazon S3を使った記事のメタデータとコンテンツの保存と管理について学ぶ。また、変更データキャプチャ（CDC）とコマンドクエリ責務分離（CQRS）パターンを使用して、プライマリデータストアと検索インデックス間のデータの一貫性とリアルタイムの同期を確保する方法を発見する。

AWSアプリケーションロードバランサ(ALB)とAmazon Elastic Container Service(ECS)でAPIレイヤーを使用して、 検索トラフィックを確実に提供するために、弾力的で分離されたマイクロサービスを構築する方法を学ぶ。障害を処理し、高可用性を確保するための様々なレジリエンスのパターンとテクニックを探求する。

最後に、カオスエンジニアリングの実験と包括的なモニタリングと可観測性の実践を通じて、アーキテ クチャのレジリエンスをテストし、検証することの重要性を理解する。また、この章では、データ漏洩や不正アクセスから保護するための、セキュリティに関する考慮事項とベストプラクティスも取り上げている。

この章が終わる頃には、あなたは次のことができるようになるだろう：

• スケジューラとワーカーノードのアーキテクチャを使用して、耐障害性のあるデータ取り込みパイプラインを設計する。

• Amazon MemoryDB for RedisとAmazon S3を使用して、記事のメタデータとコンテンツを効率的に保存、管理する。

• Amazon OpenSearch Serviceを使用して、スケーラブルで高性能な検索エンジンを実装する。

• CDCおよびイベント駆動アーキテクチャを使用して、データの一貫性とリアルタイムの同期を確保する。

• Amazon ECSとAWS CDKを使用して、レジリエンスとデカップリングされたマイクロサービスを構築する。

• カオスエンジニアリングの原則を適用して、アーキテクチャのレジリエンスをテストし検証する。

• ニュースフィードシステムをデータ漏洩や不正アクセスから守る ...