実践 AWSデータサイエンス ―エンドツーエンドのMLOpsパイプライン実装

11章ストリーミング分析と機械学習

　これまでの章では、すべてのデータがS3ベースのデータレイクのような一元化された静的な場所で利用できることを前提としてきました。しかし、現実のデータは、世界中のさまざまなソースから同時に継続的にストリーミングされてきます。バッチ処理のレイテンシーが許容できない不正防止や異常検知などのユースケースでは、データのストリームに対して機械学習を実行する必要があります。また、競争上の優位性を確保し、ビジネス上の洞察を得るまでの時間を短縮するために、リアルタイムのデータストリームに対して継続的な分析を行いたい場合もあります。

　本章では、カスタマーレビューの訓練データセットから実世界のシナリオに移行します。ここでは、あらゆるオンラインチャネルから収集した、商品レビューメッセージに対する、継続的なストリーム分析に焦点を当てます。商品に対する顧客からのフィードバックは、ソーシャルメディアチャネル、パートナーウェブサイト、カスタマーサポートシステムなど、あらゆる場所に現れます。このような商品に関する貴重な顧客のセンチメントをできるだけ早く捉え、傾向を把握して迅速に対応する必要があります。

　ストリーミング分析と機械学習を使えば、アプリケーションログ、ソーシャルメディアフィード、eコマーストランザクション、カスタマーサポートチケット、商品レビューなどの継続的なデータストリームを分析することができます。例えば、リアルタイムの商品レビューを分析することで、品質問題を検出することができます。

　最初のステップでは、顧客のセンチメントを分析することで、どの顧客に優先度高く対応する必要があるかを特定します。次に、受信したレビューメッセージに対して継続的なストリーミング分析を実行し、商品カテゴリーごとの平均センチメントを割り出します。継続的な平均センチメントを、事業部門（line ...