第7章 データ管理 データを管理するライフサイクル管理を改善する
この作品はAIを使って翻訳されている。ご意見、ご感想をお待ちしている:translation-feedback@oreilly.com
実装に成功したデータカタログがあるとしよう。データソースからのデータは徐々にデータカタログにプッシュ/プルされ、データカタログは組織の全員に利用されている。データカタログは、ソーシャルネットワークのように強力で分散化されたノードを持ちながら、有機的に成長している。資産にはメタデータ(用語集、説明、所有権など)が代入され、企業のITランドスケープは発見可能になっていく。
実用的なデータ・カタログを手に入れた今、それを使ってITランドスケープ内のデータのライフサイクル管理を改善することができる。これはちょっとした革命であり、一旦これを稼働させれば、大きな成果を上げることができる。従って、この章では以下を取り上げる:
-
ITランドスケープにおけるデータのライフサイクルをデータカタログで管理する。
-
データカタログでデータ資産や用語などのライフサイクルを管理する。
この章の最後では、データの可観測性についても説明する。これは、データの管理をデータライフサイクルのさらに前の段階に押し上げるものである。
データライフサイクル管理の価値とデータカタログがゲームチェンジャーとなる理由
データサイエンス、コンピューターサイエンス、データエンジニアリング、そして隣接する分野では、 データエンジニアリングのライフサイクルはよく理解されている。このライフサイクルは、ソース・システムからデータを取得し、マシン学習やビジネス・インテリジェンスなどのユースケースに役立てることを目的としている。しかし、 データエンジニアリングの基礎で指摘されているように、データエンジニアリングライフサイクルは、機械学習やビジネスインテリジェンスなどのユースケースに役立つものである、1データエンジニアリングライフサイクルは、データライフサイクル全体の一部に過ぎない。そして、データのライフサイクル全体を高いレベルで管理することは、実際には弁護士、コンプライアンス専門家、データマネージャー、データアーキテクトの仕事である。
この章ではデータライフサイクル全体について述べる。データカタログは幸いにもデータライフサイクル管理を大幅に改善することができ、これを手に入れた企業には大きな利点があるからだ。
その方法はこうだ。
弁護士、コンプライアンス・スペシャリスト、データ・アーキテクト(もちろん、あなたがこれらの職業に属していない限り、想像する必要はまったくない!)であることを想像してみてほしい。これらの従業員は、データのライフサイクルを把握するために苦しい戦いを強いられている。
弁護士とコンプライアンスの専門家について考えてみよう。彼らの仕事の一部は、データが社内で十分な期間保管されるようにすることだ。企業は特定のデータを一定期間保管することを強制される。食品医薬品局(FDA)は、製薬会社に対してデータの保管(例えば、製品寿命プラス35年)を要求することができる。なぜなら、会社は常に、その医薬品が既知の指示された副作用しかないことを証明できなければならないからだ。もしFDAのような当局が、データの保存期間が終了する前にデータが削除されたり紛失していることを発見した場合、警告状を出したり、医薬品の生産を停止したりすることができる!
また、弁護士やコンプライアンス専門家は、データ・ライフサイクルを逆の目的で管理しなければならないこともある。これを守らなかった場合、当局の検査で発覚した場合の罰金は非常に深刻だ。例えば、GDPR ...
Become an O’Reilly member and get unlimited access to this title plus top books and audiobooks from O’Reilly and nearly 200 top publishers, thousands of courses curated by job role, 150+ live events each month,
and much more.
Read now
Unlock full access