97 cosas que todo ingeniero de datos debe saber

Capítulo 53. Observabilidad para ingenieros de datos

Este trabajo se ha traducido utilizando IA. Agradecemos tus opiniones y comentarios: [e-mail]

Barr Moisés

A medida que las empresas se orientan cada vez más a los datos, las tecnologías subyacentes a la rica información que proporcionan los datos se han vuelto más matizadas y complejas. Nuestra capacidad para recopilar, almacenar, agregar y visualizar estos datos se ha adaptado en gran medida a las necesidades de los equipos de datos modernos (piensa en mallas de datos orientadas a dominios, almacenes en la nube y soluciones de modelado de datos), pero la mecánica que subyace a la calidad y la integridad de los datos se ha quedado atrás.

Cómo los datos buenos se vuelven malos

Tras hablar con varios cientos de equipos de ingeniería de datos, he observado tres razones principales por las que los buenos datos se vuelven malos:

Cada vez más fuentes de datos

Hoy en día, las empresas utilizan entre docenas y cientos de fuentes de datos internas y externas para producir análisis y modelos de ML. Cualquiera de estas fuentes puede cambiar de forma inesperada y sin previo aviso, comprometiendo los datos que la empresa utiliza para tomar decisiones.

Canalizaciones de datos cada vez más complejas

Los conductos de datos son cada vez más complejos, con múltiples etapas de procesamiento y dependencias no triviales ...