エンタープライズ・データ・カタログ

序文

私が2010年代半ばにデータ・カタログに注力し始めたとき、データ分析の世界は変曲点に達していた。データレイクを中心とし、通常は社内のHadoopクラスタと結びついた最新の大規模データインフラプロジェクトは、成熟の域に達していた。技術アーキテクチャは整っていた。しかし、組織のインフラに大規模な支出を行うことを支持する初期の引数であったイノベーションと価値創造の約束は、熱狂的な先駆者チームによって推進された少数のユースケースを超える実を結ぶことはほとんどなかった。

この相対的な失敗の根源は、技術そのものよりも、こうした新しい横のインフラのガバナンスにあると私は感じている。これらの失敗は、2つの相反する形で現れた。

場合によっては、ガバナンスの欠如がデータレイクをデータ沼へと変貌させた。データの内容も出所も誰もが知らず、誰も使い方を知らないデータを含む巨大なストレージスペースだった。

また、高度なガバナンス・ツールのデプロイによって、データが複雑で官僚的な手続きの中に閉じ込められ、イノベーションの中核に必要なアジャイルと実験が阻害されるケースもあった。

その結果、企業は分析インフラをクラウドに移行（または作成）し始め（クラウド・ソリューションの技術水準は2010年代半ばから大幅に向上している）、活用する必要のある膨大なデータをどのように管理するのが最善かを再考し始めた。

もちろん、最新のデータアーキテクチャについて語るべきことはたくさんあるが、私が特に興味を持っているのはデータ管理の側面である。

古代ギリシャの時代から、私たちは膨大な量の情報を操作してきた。それ以来、私たちは情報を最良の条件付きで有用なものにするために、情報を整理するという課題に直面してきた。

カリマコスは古代ギリシアの詩人、学者、アレクサンドリア大図書館の司書であった。彼はおそらく、デメトリアス・ファレレオスの後継者であるゼノドトスから大図書館の責任者を引き継いだのだろう。ギリシア最大の思想家の一人とされるデメトリアスは、大図書館の創設者でありアーキテクトであり、何万巻ものパピルス写本の収集を監督していた。ほとんどの前近代の博学者と同様、デメトリアスは驚異的な記憶力を持っていたようで、おそらく図書館にあるすべての本とその場所を思い出し、図書館に出入りしていた同僚や研究者の質問に答えることができたのだろう。このような概要的な知識は彼とともに自然消滅し、カリマコスは、データレイクを作成したチームが新しい牧草地に移動する際に、今日のデータマネージャーなら誰でも共感できるような問題を抱えることになった。デメトリアスは基本的に生きた索引であり検索エンジンであった。彼がいなければ、図書館の利用者はアクセスする必要のある資料を素早く特定することも、素早く発見することもできなかった。利用者は必要なものを発見するために図書館を閲覧する必要があった。

カリマコスは、現代の組織がデータレイクで直面しているのと同じ課題に直面していたと私は感じている。

カリマコスは、今日でも有効な解決策を考えた。彼は図書館にあるすべてのパピルス写本の完全なレジストリを作成し、アルファベット順に並べ、内容に索引をつけた。ピナケスと名付けられたこのレジストリには、巻物のタイトル、冒頭の言葉、各巻の行数、文学のジャンルや分野、主題といった書誌的な説明の他に、作者の経歴情報が記載されていた。あるカテゴリー内の作者や同じ作者のタイトルはアルファベット順に並べられており、これはアリストテレスのカテゴリー分けのやり方を基礎としながらも、より大規模なものであった。 ...