Overview
Este trabalho foi traduzido com recurso a IA. Agradecemos o teu feedback e comentários: translation-feedback@oreilly.com
Os projectos de dados são uma parte intrínseca do ecossistema técnico de uma organização, mas os engenheiros de dados de muitas empresas continuam a trabalhar em problemas que outros já resolveram. Este guia prático mostra-te como fornecer dados valiosos, concentrando-se em vários aspectos da engenharia de dados, incluindo a ingestão de dados, a qualidade dos dados, a idempotência e muito mais.
O autor Bartosz Konieczny guia-te através do processo de construção de projectos fiáveis de engenharia de dados de ponta a ponta, desde a ingestão de dados até à observabilidade dos dados, concentrando-se em padrões de design de engenharia de dados que resolvem problemas empresariais comuns de uma forma segura e optimizada para o armazenamento. Cada padrão inclui uma descrição do problema, soluções e consequências que colocam o padrão no contexto de cenários da vida real.
Ao longo desta jornada, usarás ferramentas de dados de código aberto e serviços de Cloud pública para aplicar cada padrão. Aprenderás:
- Os desafios que os engenheiros de dados enfrentam e o seu impacto nos sistemas de dados
- Como esses desafios se relacionam com os componentes do sistema de dados
- Aplicações úteis de padrões de engenharia de dados
- Como identificar e resolver problemas com os teus componentes de dados actuais
- Soluções agnósticas em termos de tecnologia para projectos de dados novos e existentes, com exemplos de implementação de código aberto
Bartosz Konieczny é um engenheiro de dados freelancer que tem vindo a programar desde 2010. Ocupou vários cargos práticos seniores que lhe permitiram trabalhar em muitos problemas de engenharia de dados no processamento em lote e em fluxo.
Become an O’Reilly member and get unlimited access to this title plus top books and audiobooks from O’Reilly and nearly 200 top publishers, thousands of courses curated by job role, 150+ live events each month,
and much more.
Read now
Unlock full access