Capítulo 7. Observabilidade e capacidade de descoberta
Este trabalho foi traduzido com recurso a IA. Agradecemos o teu feedback e comentários: translation-feedback@oreilly.com
As pessoas gastam de 60% a 80% do seu tempo tentando encontrar dados. Isso representa uma enorme perda de produtividade.
Dan Vesset, vice-presidente do grupo, IDC
Antes de ingressar na Databricks, Kiran trabalhou em uma plataforma de dados local que executava o Apache Spark por quase quatro anos. Um dos principais problemas que ele enfrentou ao executar a plataforma, dando suporte a vários usuários que faziam relatórios regulamentares sobre os dados, foi a qualidade dos dados. Ao trabalhar em casos de uso de processamento de dados quase em tempo real, especialmente aqueles que dependem de sistemas de processamento de mensagens, como o Apache Kafka, Azure Event Hubs ou AWS Kinesis, você agravou ainda mais o problema. O risco de perder uma mensagem em trânsito da fila de processamento de mensagens sem que ninguém soubesse de sua ausência era excepcionalmente alto. Quase 95% das vezes, os problemas eram atribuídos à baixa capacidade de descoberta de dados na plataforma de dados. A equipe de suporte desenvolveu, implantou e monitorou ferramentas personalizadas para evitar problemas de perda de dados. A equipe usou várias ferramentas de monitoramento para diferentes aspectos da plataforma, o que complicou o processo geral. A criação e a implementação dessas ferramentas ajudaram a reduzir os problemas com os ...
Become an O’Reilly member and get unlimited access to this title plus top books and audiobooks from O’Reilly and nearly 200 top publishers, thousands of courses curated by job role, 150+ live events each month,
and much more.
Read now
Unlock full access