ストリーミング・データベース

第9章. ストリーミング・プレーン

この作品はAIを使って翻訳されている。ご意見、ご感想をお待ちしている：[e-mail]

前章では、今日のエコシステムにおける既存のリアルタイムシステムを調査し、オペレーショナル、アナリティカル、ストリーミングという3つの異なるデータプレーンを紹介した。運用プレーンと分析プレーンは、静止状態のデータを主に扱い、静的な情報を重視する。対照的に、ストリーミング・プレーンは、動いているデータを特徴とする唯一の領域として際立っている。

この章では、ストリーミングプレーンと、データアーキテクトやエンジニアがリアルタイムアナリティクスを簡素化する上でのストリーミングプレーンの役割についてどのように考え始めることができるかについて掘り下げていく。

我々は一貫して、非同期、データ・イン・モーション、ストリーミングといった用語を相互にリンクさせ、互換性のある式として扱ってきた。これらは、連続的な変換を行い、アプリケーションのためのリアルタイム分析データの検索を簡素化し、迅速化する長時間実行プロセスと同義である。

図9-1は、第7章を通して示された ベン図のストリーミングプレーン部分のみを示している。この章を通してこの図を参照する。

図9-1. 第7章のベン図から見たストリーミング・プレーン

この章では、ストリーミングプレーン上でのリアルタイムデータ処理の複雑さを理解するために、いくつかの重要なトピックを検討する。その中で焦点となる点は、オペレーショナルプレーン上の分析（or オペレーショナルアナリティクス）という概念である。 、オペレーショナルプレーンのアプリケーションの近くで分析ワークロードを実行するという実践を掘り下げる。さらに、データの地理的な近接性がシステム全体のパフォーマンスにどのような影響を与えるかを調査する。データの局所性を理解することは、ストリーミング分析シナリオにおいてリソースの利用を最適化し、遅延を最小化するために重要である。

ストリーミングプレーンにおける基本戦略である。データ複製は、複数のノードやグローバルな地域にまたがってデータを重複させ、分散化を促進する。データメッシュに着想を得たデータプロダクトの概念も取り上げる。グローバルに複製された価値あるデータ製品をローカルで消費するために、リアルタイム分析をどのように活用できるかについて議論する。

これらの重要なトピックをナビゲートすることで、読者はストリーミングプレーンがもたらす多面的な課題と機会を理解し、ストリーミング分析の世界的な展望の中でレジリエンスと効率性に優れたシステムを設計するために不可欠なソリューションを提供することができる。

データ重力

データを惑星に見立てて考えてみよう。データが質量を増すと、重力が月を地球に引き寄せ、あなたが宇宙に漂流しないようにするのと同じように、サービスやアプリケーションを引き寄せる。例えば、あなたがソーシャルメディアにメッセージを投稿するとき、あなたはデータを作成する。あなたのメッセージはサービスに投稿され、あなたの友人からのインタラクションを引き寄せ、さらに多くのデータを作成する。

ストリーミングプレーンを考慮しない典型的なデータアーキテクチャでは、演算子はデータを直接分析プレーンにプッシュすることになる。演算子を、解析プレーンである高密度の惑星の周りを回る軌道上の衛星と考えてみよう。演算プレーンのムーンはデータを惑星にプッシュする。より多くの演算子がデータを分析プレーンの惑星に送り返すと、惑星は履歴データのモノリシックシステムになる。ワークロードは、遅延をもたらすデータサイズの影響を受け始める。 ...