Aprendeste sobre os vários sistemas de origem que provavelmente encontrarás como engenheiro de dados e sobre as formas de armazenar dados. Vamos agora voltar nossa atenção para os padrões e escolhas que se aplicam à ingestão de dados de vários sistemas de origem. Neste capítulo, discutiremos a ingestão de dados (consulte a Figura 7-1), as principais considerações de engenharia para a fase de ingestão, os principais padrões para ingestão em lote e em fluxo, as tecnologias que encontrará, com quem trabalhará ao desenvolver o pipeline de ingestão de dados e como as subcorrentes aparecem na fase de ingestão.
Figura 7-1. Para começar a processar dados, tens de os ingerir
O que é a ingestão de dados?
Aingestão de dados é o processo de deslocação de dados de um local para outro. A ingestão de dados implica o movimento de dados dos sistemas de origem para o armazenamento no ciclo de vida da engenharia de dados, sendo a ingestão uma etapa intermédia(Figura 7-2).
Figura 7-2. Os dados do sistema 1 são ingeridos no sistema 2
Vale a pena comparar rapidamente a ingestão de dados com a integração de dados. Enquanto a ingestão de dados é o movimento de ...
Become an O’Reilly member and get unlimited access to this title plus top books and audiobooks from O’Reilly and nearly 200 top publishers, thousands of courses curated by job role, 150+ live events each month, and much more.
