Garantizar la fiabilidad de los datos y la IA a través de la observabilidad

Capítulo 3. Los pilares de la observabilidad de los datos y la IA

Este trabajo se ha traducido utilizando IA. Agradecemos tus opiniones y comentarios: [e-mail]

En este capítulo, haremos referencia a tecnologías y arquitecturas comunes para proporcionar ideas prácticas que garanticen la fiabilidad de los productos de datos + IA. Estas tecnologías cambiarán con el tiempo. Sin embargo, los pilares más amplios -específicamente, los tipos de anomalías y sus causas fundamentales- serán mucho más duraderos. Esto se debe a que están ligados al ciclo de vida de los datos + IA. Citando un clásico de O'Reilly, Fundamentos de la Ingeniería de Datos, de Joe Reis y Matt Housley, "desde los albores de los datos, hemos visto el auge y la caída de innumerables tecnologías específicas y productos de proveedores, pero las etapas del ciclo de vida de la ingeniería de datos han permanecido esencialmente inalteradas".

El monitoreo de anomalías implica comprender qué atributos, o métricas, de un resultado hay que medir y luego identificar los valores atípicos del comportamiento tradicional. El análisis de la causa raíz implica revisar la telemetría en todo el proceso de producción para determinar qué cambios o errores se produjeron con mayor probabilidad de haber causado esa anomalía.

La clave está en definir claramente las métricas a medir y la telemetría a recoger en cada fase del ciclo de vida a través de tus datos no estructurados, datos estructurados y sistemas de IA. Echemos ...