ストリーミング・データベース

第3章. リアルタイム・データを提供する

この作品はAIを使って翻訳されている。ご意見、ご感想をお待ちしている：[e-mail]

第2章では、 ストリーム処理プラットフォームにデータを変換させ、シンク・トピックに配置させた。前処理されたデータは、ストリーミング・プラットフォームのトピックに置かれる。図3-1では、シンク・トピックとOLAPデータ・ストアが分析面で強調表示されている。

次に必要なのは、コンシューマにリアルタイムデータを提供することだ。この章では、エンリッチされたリアルタイムデータをエンドユーザに提供することについて説明する。リアルタイム・データ・パイプラインのこの段階は、ストリーミング・データがエンドユーザに提供されるまでの最後の1マイルである。

図3-1. 前処理されたデータはシンク・トピックで利用でき、ユーザ向けダッシュボードやアプリケーションにリアルタイムで分析データを提供できる。

リアルタイムへの期待

私たちが特定したコンシューマ（人間とアプリケーション）にリアルタイム分析を提供するには、サービスレベルアグリーメント（SLA）のセットを考慮する必要がある。クリックストリームのユースケースでは、エンドユーザやアプリケーションの要件を指定しなかった。しかし、リアルタイムでアナリティクスを提供したいので、いくつかのメトリックを考慮する必要がある：

遅延

アナリティクスのクエリや計算が完了し、結果が返されるまでの時間を測定する。リアルタイムアナリティクスでは、ユーザに瞬時に近い洞察を提供するために遅延が少ないことが重要である。SLAメトリックでは、アナリティクス結果のタイムリーな配信を保証するために、平均応答時間や最大応答時間などの許容遅延しきい値を定義することができる。

スループットと同時実行性

与えられたフレーム内で処理できる分析クエリまたは計算の数を測定する。これは、同時リクエストを処理するシステムの能力を示すもので、特に大量処理シナリオで重要となる。SLAメトリックでは、リアルタイムのアナリティクスワークロードに十分な容量を確保するために、1秒あたりのクエリや1分あたりの計算など、目標スループットを指定することができる。

データの鮮度

アナリティクスの結果が、基礎となるデータストリームに対してどれだけ最新であるかを示す。データが生成されてから分析に利用できるようになるまでの遅延を測定する。SLAメトリックでは、ユーザが最新の情報にアクセスできるように、秒単位または分単位の最大遅延など、許容可能なデータ鮮度要件を指定することができる。

精度

分析結果の正確さと精度を測定する。SLAメトリックは、リアルタイムのアナリティクスの精度を保証するために、許容可能なエラー率、信頼区間、または検証基準を定義することができる。

リアルタイムアナリティクスをコンシューマに提供する場合、前述のメトリックがリアルタイム要件に最も影響する。その他のメトリックは、容量のサイジング、データのレジリエンス、およびセキュリティに関連する。これらについては、本書の後の章で詳しく説明する。その他のSLAメトリックには以下のものがある：

空室状況

リアルタイム分析システムが稼働し、ユーザがアクセスできる時間の割合を測定する。SLAメトリックは、計画されたメンテナンスウィンドウと予期せぬ停止を考慮して、システムの望ましい稼働時間または停止時間を定義することができる。高可用性は、リアルタイム分析機能への継続的なアクセスを提供するために不可欠である。 ...