97 cosas que todo ingeniero de datos debe saber

Capítulo 59. La garantía de calidad y toda su sensualidad

Este trabajo se ha traducido utilizando IA. Agradecemos tus opiniones y comentarios: [e-mail]

Sonia Mehta

Antes de mudarse a una casa nueva, los futuros propietarios contratan a un inspector para que evalúe los daños que pueda haber en ella. Al igual que los inspectores de casas, como ingenieros de datos, nos corresponde a nosotros detectar los problemas evidentes y no tan evidentes de nuestros datos antes de enviarlos a producción.

Establecer un programa de garantía de calidad (GC) es sencillo, ¡y los beneficios merecen totalmente la pena! Al establecer un programa de garantía de calidad, las pruebas pueden dividirse en dos grandes categorías: prácticas y lógicas.

Las pruebas prácticas tienen por objeto comprobar la integridad de los datos y la exactitud de los tipos de datos. Entre ellas se incluyen las siguientes:

• Comprobación de la cobertura de datos mediante la inspección de fechas o recuentos de filas previstos

• Normalizar las entradas de moneda (por ejemplo, eliminar las comas de las métricas)

• Garantizar que los campos obligatorios no contengan valores nulos

• Validación de formatos coherentes de fecha, zona horaria y caja

• Confirmar que las cabeceras se aplican a los datos y no dentro de los propios datos

• Deducir el conjunto de datos

Las pruebas lógicas son de relevancia empresarial y de dominio. ...