ストリーミング・データベース

第2章. ストリーム処理プラットフォーム

この作品はAIを使って翻訳されている。ご意見、ご感想をお待ちしている：[e-mail]

第1章では、 、リアルタイムデータをコンシューマに届けるというシンプルなユースケースを紹介した。また、コネクターと、コネクターが静止状態のデータを動きのあるデータ（またはイベント・ストリーム）に変換し、ストリーミング・プラットフォームのトピックに公開する方法についても紹介した。

、イベント・ストリームを読み取ることができるようになったが、コンシューマが使用できる形式にはなっていない可能性が高い。イベントは、分析処理を受ける前に、クレンジングと準備を必要とする傾向がある。イベントはまた、洞察力を導き出すのに十分有用であるために、コンテキストで豊かにされる必要がある。分析処理は、データの正確性と信頼性に大きく依存する。欠損値、不整合、重複、異常値などの問題に対処することで、データ品質は改善され、より信頼性の高い正確な分析結果につながる。

図2-1では、イベント・データの準備は分析クエリのパフォーマンスにも大きな影響を与える。データのレイアウト、インデックス、パーティション分割を最適化することで、データ検索と処理の効率を向上させることができる。これには、データの非正規化、カラム・ストレージ、分析ワークロードに合わせたインデックス戦略などのテクニックが含まれる。十分に準備されたデータは処理時間を短縮し、より迅速な洞察を可能にする。非正規化、カラム型ストレージ、およびインデックス戦略については、第4章で、コンシューマに分析データを提供する方法について説明する。

図2-1. 目的地に到達する前に、イベントデータをクレンジングし、準備し、エンリッチする。

イベントデータの準備は、データガバナンスとコンプライアンスの確保においても重要な役割を果たす。これには、データセキュリティ対策の実施、機密情報の匿名化、プライバシー規制の遵守が含まれる。データを適切に準備することで、組織はデータの完全性を維持し、プライバシーを保護し、法的・倫理的要件を遵守することができる。

全体として、データパイプラインにおけるデータ準備は、効果的な分析処理のためにデータが正確で一貫性があり、適切に構造化されていることを保証するために不可欠である。これは分析結果の信頼性を高め、パフォーマンスを向上させ、意味のある洞察の抽出を可能にする。

図2-1では、「トピック」から「デスティネーション」までの点線がストリーム処理プラットフォームを表している。ストリーム処理プラットフォームの役割は、デスティネーション・データストアに到達する前の前処理として、イベントデータのクレンジング、準備、エンリッチ化のタスクを引き受けることである。

注

本書では、イベントデータのクレンジング、準備、エンリッチメントのタスクを、ストリーミング・データ・パイプラインで実行される「変換」と呼ぶことにする。

変換タスクはリソースを消費し、プロセスを集中させる傾向がある。コンシューマにデータを提供するデータストアに書き込む前に、データパイプラインの前処理ステップの一部として変換を完了させるのがベストだ。一度に少量のデータしか見ずにインクリメントで変換を実行する方が、後で大量のデータを洗いざらい見るよりもはるかにリソースを消費しないからだ。 ...