O armazenamento é a pedra angular do ciclo de vida da engenharia de dados(Figura 6-1) e está subjacente às suas principais fases - ingestão, transformação e serviço. Os dados são armazenados muitas vezes à medida que se movem ao longo do ciclo de vida. Parafraseando um velho ditado, é o armazenamento até ao fim. Quer os dados sejam necessários segundos, minutos, dias, meses ou anos mais tarde, têm de persistir no armazenamento até que os sistemas estejam prontos a consumi-los para processamento e transmissão adicionais. Conhecer o caso de utilização dos dados e a forma como os irá recuperar no futuro é o primeiro passo para escolher as soluções de armazenamento adequadas para a sua arquitetura de dados.
Figura 6-1. O armazenamento desempenha um papel central no ciclo de vida da engenharia de dados
Também discutimos o armazenamento no Capítulo 5, mas com uma diferença de foco e domínio de controlo. Os sistemas de origem não são geralmente mantidos ou controlados pelos engenheiros de dados. O armazenamento com o qual os engenheiros de dados lidam diretamente, e no qual nos concentraremos neste capítulo, abrange as fases do ciclo de vida da engenharia de dados, desde a ingestão de dados dos sistemas de origem até ao fornecimento de dados ...
Become an O’Reilly member and get unlimited access to this title plus top books and audiobooks from O’Reilly and nearly 200 top publishers, thousands of courses curated by job role, 150+ live events each month, and much more.
