データおよび機械学習プラットフォームのアーキテクト

第8章. ストリーミングのアーキテクチャ

この作品はAIを使って翻訳されている。ご意見、ご感想をお待ちしている：[e-mail]

この章では、なぜ業界のトレンドが、バッチからストリーミングへと不可避的に移行しているのかを学ぶ 。様々なストリーミングアーキテクチャと、その選択方法について説明する。また、これらのアーキテクチャのうちの2つ、マイクロバッチとストリーミングパイプラインを深く掘り下げ、これらのアーキテクチャの両方でリアルタイムのアドホッククエリをサポートする方法について議論する。最後に、ストリーミングを行う理由として、あるイベントが発生したときに自律的に何らかのアクションを起こすことがあるが、そのような自動化システムのアーキテクトのあり方について議論する。

ストリーミングの価値

、デジタル・ネイティブから伝統的な企業まで、さまざまな業界のあらゆるテクノロジー成熟度スペクトルに沿った企業が、意思決定を迅速に行うことの価値が高まっていることを認識している。例えば、自動車ローンの承認に3日かかる企業Aを考えてみよう。一方、企業Bは数分でローンの承認または拒否を行う。この利便性の向上は、B社の競争優位につながる。

、より迅速な意思決定よりもさらに優れているのは、状況に応じて意思決定ができることである。事象が進行している間に意思決定ができることは（図8-1参照）、数分後に意思決定するよりもはるかに価値がある。例えば、支払いのために不正なクレジットカードが提示されたときにそれを検出して取引を拒否することができれば、払い戻しにかかるコストのかかるプロセスを避けることができる。

図8-1. 通常、意思決定の価値は時間とともに低下する。ストリーム処理によって、組織はほぼリアルタイムで意思決定を行うことができる。

業界別使用例

不正検知、取引決済、スマートデバイス、オンラインゲームなど、 、業界は次々とストリーミングを採用し始めている。

ヘルスケアでは、ストリーミングがリアルタイムでの患者監視、転倒や自傷行為のアラート、IoT医療機器による個別ケアの提供、病院における薬剤や供給・在庫の最適化などに利用されている。

金融サービス分野では、不正行為の検知・防止、リスクの予測・分析、コンプライアンス規制に抵触する取引の特定、顧客にパーソナライズされたオファーの提供などにストリーミングが活用されている。

小売業では、ストリーミングがWebサイトでのパーソナライズド・マーケティング、複数チャネル（Webサイト、モバイル、実店舗）でのリアルタイム在庫の提供、フルフィルメントに関する問題のアラート、ダイナミックプライシング、商品レコメンデーション、オムニチャネルでの顧客の可視化などに活用されている。

メディアとエンターテインメントでは、ストリーミングはパーソナライズされたコンテンツの生成、ターゲット広告の配信、顧客離れの最小化、加入者詐欺の防止に利用されている。電気通信分野では、顧客離れや加入者詐欺に関する同様のユースケースが見られる。さらに、ストリーミングはネットワークの信頼性を向上させ、ネットワークのキャパシティ・プランニングを最適化するためにも使われている。

ストリーミングの使用例

ストリーミングとは、無限のデータセットに対するデータ処理だと考えてほしい。技術的に、ストリーミングの課題は2つある。ひとつは、データセットが無限であり、決して完全ではないということだ。このため、（最大値などの）すべての集約は、時間窓の中でしか定義できない。もうひとつは、データが動いており、一時的なストレージに保持されていることだ。このため、従来のプログラミングテクニックやファイルハンドルのような概念を、データの読み取りや処理に適用することは困難である。このような複雑さがあるため、ストリーミングのユースケースを複雑さと価値の高い順に4つのカテゴリーに分けることには大きな利点がある： ...