Escalar el aprendizaje automático con Spark

Capítulo 4. Ingestión de datos, preprocesamiento y estadísticas descriptivas

Este trabajo se ha traducido utilizando IA. Agradecemos tus opiniones y comentarios: [e-mail]

Lo más probable es que conozcas la frase "basura entra, basura sale". Capta bien la noción de que una entrada de datos defectuosa, incorrecta o sin sentido siempre producirá una salida defectuosa. En el contexto del aprendizaje automático, también subraya el hecho de que la atención que dediquemos a la ingesta, preprocesamiento y comprensión estadística de nuestros datos (explorarlos y prepararlos) tendrá un efecto en el éxito del proceso global. Una ingestión de datos defectuosa repercute directamente en la calidad de los datos, y lo mismo ocurre con un preprocesamiento defectuoso. Para hacernos una idea de los datos que tenemos entre manos, y de su corrección, aprovechamos la estadística descriptiva; ésta es una parte vital del proceso, ya que nos ayuda a verificar que los datos que estamos utilizando son de buena calidad. Los científicos de datos, los ingenieros de aprendizaje automático y los ingenieros de datos suelen dedicar mucho tiempo a trabajar, investigar y mejorar estos pasos cruciales, y yo te guiaré a través de ellos en este capítulo.

Antes de empezar, entendamos el flujo. Supongamos que, al principio, nuestros datos residen en disco, en una base de datos o en un lago de datos en la nube. Estos son los pasos que seguiremos para conocer nuestros datos:

1. Ingestión. Nosotros ...