Fundamentos da engenharia de dados

Capítulo 4. Escolher tecnologias ao longo do ciclo de vida da engenharia de dados

Este trabalho foi traduzido com recurso a IA. Agradecemos o teu feedback e comentários: [e-mail]

A engenharia de dados sofre hoje em dia de um embaraço de riquezas. Não há falta de tecnologias para resolver vários tipos de problemas de dados. As tecnologias de dados estão disponíveis como ofertas chave-na-mão consumíveis de quase todas as formas - código aberto, código aberto gerido, software proprietário, serviço proprietário e muito mais. No entanto, é fácil ser apanhado na busca de tecnologia de ponta e perder de vista o objetivo principal da engenharia de dados: conceber sistemas robustos e fiáveis para transportar dados ao longo de todo o ciclo de vida e servi-los de acordo com as necessidades dos utilizadores finais. Tal como os engenheiros de estruturas escolhem cuidadosamente as tecnologias e os materiais para concretizar a visão de um arquiteto para um edifício, os engenheiros de dados têm a tarefa de fazer escolhas tecnológicas adequadas para conduzir os dados ao longo do ciclo de vida para servir as aplicações e os utilizadores de dados.

O Capítulo 3 abordou a "boa" arquitetura de dados e a sua importância. Explica agora como escolher as tecnologias certas para servir esta arquitetura. Os engenheiros de dados devem escolher boas tecnologias para criar o melhor produto de dados possível. Consideramos que o critério para escolher uma boa tecnologia de dados é simples: ...