Criar uma arquitetura de dados robusta é um dos aspectos mais difíceis da gestão de dados. O processo de tratamento de dados - desde a sua recolha até à transformação, distribuição e consumo final - difere muito em função de uma série de factores. Estes factores incluem a governação, as ferramentas utilizadas, o perfil de risco, a dimensão e a maturidade da organização, os requisitos dos casos de utilização e outras necessidades, como o desempenho, a flexibilidade e a gestão de custos.
Apesar destas diferenças, todas as arquitecturas de dados incluem vários componentes fundamentais. Discuto frequentemente estes componentes utilizando a metáfora de uma conceção de arquitetura em três camadas, um conceito que introduzi no meu trabalho anterior: Data Management at Scale (O'Reilly). Esta conceção revelou-se fundamental para as organizações conceptualizarem e estruturarem as suas estratégias de gestão de dados. Apresenta três camadas: a primeira inclui vários fornecedores de dados; a segunda serve como plataforma de distribuição; e a terceira consiste em consumidores de dados. Além disso, uma camada abrangente de metadados e governação é crucial para gerir e supervisionar toda a arquitetura de dados. Podes ver um reflexo desta conceção na Figura 1-1.
Figura 1-1. A conceção da arquitetura em três níveis
Da esquerda ...
Become an O’Reilly member and get unlimited access to this title plus top books and audiobooks from O’Reilly and nearly 200 top publishers, thousands of courses curated by job role, 150+ live events each month, and much more.
