No capítulo anterior, aprendeste sobre os três componentes da observabilidade dos dados e como aplicá-la no teu trabalho diário com dados. Neste capítulo, vamos colocar a mão na massa e colocar esses conceitos em prática.
Os objetivos deste capítulo são fornecer receitas que te ajudarão a integrar a observabilidade de dados em seus pipelines, fornecer materiais técnicos para aprimorar suas capacidades de tornar seus frameworks e aplicações observáveis - então, como um bom chef faria com qualquer receita, você irá personalizá-la, estendê-la, melhorá-la. Vou explicar-te os passos a seguir, o objetivo de cada passo e como funciona. Alerta de spoiler: de vez em quando, o texto será bastante técnico - quase nerd - mas confia em mim, vale a pena.
Para dar a este capítulo um fluxo lógico, vou seguir o ciclo de vida da engenharia de dados introduzido por Joe Reis e Matt Housley no livro Fundamentals of Data Engineering(Figura 7-1).
Figura 7-1. O ciclo de vida da engenharia de dados1 (Cortesia de Joe Reis e Matthew Housley)
A observabilidade dos dados reside nas correntes subterrâneas da engenharia de dados, como parte do DataOps. Para gerar os valores discutidos no Capítulo 2, a plataforma de observabilidade ...
Become an O’Reilly member and get unlimited access to this title plus top books and audiobooks from O’Reilly and nearly 200 top publishers, thousands of courses curated by job role, 150+ live events each month, and much more.
