Capítulo 7. O panorama geral: Projetando e implementando uma plataforma Lakehouse
Este trabalho foi traduzido com recurso a IA. Agradecemos o teu feedback e comentários: translation-feedback@oreilly.com
Nos capítulos anteriores, discutimos os componentes individuais da arquitetura lakehouse e suas considerações de design. Este capítulo discutirá como unir todos esses componentes para projetar e implementar uma plataforma lakehouse moderna, escalável e segura.
Este capítulo ajudará os arquitectos de dados a conceber uma plataforma completa baseada na arquitetura lakehouse. Também orientará os engenheiros de dados na implementação de vários processos de gestão de dados e das melhores práticas numa lakehouse. Outras personas de dados, como analistas de dados, cientistas, administradores e administradores de plataformas, podem ler este capítulo para obterem uma compreensão detalhada de vários processos de lakehouse e do impacto que podem ter no seu trabalho diário.
Começaremos por discutir as actividades de pré-conceção, como a recolha de requisitos e a compreensão do sistema existente e dos seus desafios. Estas actividades envolvem fazer as perguntas certas às pessoas certas. Em seguida, ajudar-te-ei a estabelecer os princípios orientadores que constituem a base da tua plataforma de lakehouse.
Em seguida, explicarei as considerações de design para os principais componentes, como a ingestão de dados, o processamento, o armazenamento, o consumo, a gestão de metadados, a governação, ...
Become an O’Reilly member and get unlimited access to this title plus top books and audiobooks from O’Reilly and nearly 200 top publishers, thousands of courses curated by job role, 150+ live events each month,
and much more.
Read now
Unlock full access