ストリーミング・データベース

第11章. リアルタイムデータの未来

この作品はAIを使って翻訳されている。ご意見、ご感想をお待ちしている：[e-mail]

あなたが入るのを恐れている洞窟には、あなたが求める宝が隠されている。

ジョセフ・キャンベル

ストリーミング・データベースのデプロイ・オプションを深く掘り下げた後、この章では一歩引いて、本書の中心的なトピックのひとつである、ストリーミングとデータベースの加速度的な融合によって形作られる、リアルタイム・データの未来像に迫る。ストリーミング・データベースは、このトレンドの現れである。しかし、少なくともここで触れる価値のある証拠は他にもたくさんある。

グラフデータベースとそのストリーミング領域への進行中の旅（Memgraph、thatDotなど）から始まり、ChatGPT GenAIのブレークスルー後の今日、超人気のベクトルデータベース（Milvus、Weaviateなど）へと続く。ストリーミング・データベースの中心的な側面であるマテリアライズド・ビュー、別名IVMを古典的なデータベース（Feldera、PeerDB、Epsio）に導入するツールを使って、ストリーミングとデータベースの収束の地を旅し続ける。本章の終わりでは、MongoDBなどの定評あるデータベースベンダーのストリーミング関数を検証し、BigQuery、Redshift、Snowflakeなどのデータウェアハウスがストリーミング機能を拡張していることから、徐々に分析面に焦点を移していく。Apache Iceberg、Apache Hudi、Delta Lake、Apache Paimonによって推進されるストリーミングとレイクハウスアーキテクチャの融合を調査することで、この章を締めくくる。

データプレーンの融合

旅を始める前に、第7章のベン図（図11-1）をもう一度見て、コンテクストを設定しよう。

図11-1. 次世代データベースのベン図

この図は、3つのデータプレーンの収束を示している：

• 演算子データプレーン

• 分析データプレーン

• ストリーミング・データプレーン

この章の最初のセクションでは、演算データプレーン、つまり分析よりもむしろ運用の場面で最もよく使われるデータベースに焦点を当てる。様々な種類の演算子がどのようにストリーミング・データプレーン、つまり演算子とストリーミング・データプレーンが重なる斜線部分に向かっているのかについて詳しく説明する。

その後、データウェアハウス （例：Snowflake）やレイクハウス（例：Databricks）など、分析データプレーンのベンダがストリーミング機能でポートフォリオを増強し、分析データプレーンとストリーミングデータプレーンが出会う日陰の領域に近づいている。この文脈で特に興味をそそられるのは、レイクハウスとストリーミングアーキテクチャのコンバージェンスが進行していることである。

グラフデータベース

グラフデータベースは、リレーショナルデータベースでは効率的な実装が難しいグラフに対するクエリを可能にするために、基礎となるグラフ構造を使用する。グラフデータベースは、2000年代から2010年代にかけての NoSQLムーブメントの重要な一翼を担い、データベースの領域を大きく広げた。人気のあるグラフデータベースは、 ...