Bem-vindo à primeira fase do ciclo de vida da engenharia de dados: geração de dados nos sistemas de origem. Tal como descrevemos anteriormente, a função de um engenheiro de dados é obter dados dos sistemas de origem, fazer algo com eles e torná-los úteis para servir casos de utilização a jusante. Mas antes de obteres dados em bruto, tens de compreender onde existem os dados, como são gerados e as suas caraterísticas e peculiaridades.
Este capítulo aborda alguns padrões populares de sistemas fonte operacionais e os tipos significativos de sistemas fonte. Existem muitos sistemas de origem para a geração de dados, e não vamos cobrir todos eles de forma exaustiva. Vamos analisar os dados que estes sistemas geram e o que deves ter em conta quando trabalhas com sistemas de origem. Também discutimos como as correntes subjacentes da engenharia de dados se aplicam a esta primeira fase do ciclo de vida da engenharia de dados(Figura 5-1).
Figura 5-1. Os sistemas de origem geram os dados para o resto do ciclo de vida da engenharia de dados
À medida que os dados proliferam, especialmente com o aumento da partilha de dados (discutido a seguir), esperamos que o papel de um engenheiro de dados mude fortemente para a compreensão ...
Become an O’Reilly member and get unlimited access to this title plus top books and audiobooks from O’Reilly and nearly 200 top publishers, thousands of courses curated by job role, 150+ live events each month, and much more.
