Capítulo 11. Trabajar con datos sucios
Este trabajo se ha traducido utilizando IA. Agradecemos tus opiniones y comentarios: translation-feedback@oreilly.com
Hasta ahora en este libro, he ignorado el problema de los datos mal formateados utilizando fuentes de datos generalmente bien formateadas, descartando por completo los datos si se desviaban de lo esperado. Pero, en el raspado web, a menudo no puedes ser demasiado exigente sobre dónde obtienes los datos o qué aspecto tienen.
Debido a la puntuación errónea, las mayúsculas incoherentes, los saltos de línea y las faltas de ortografía, los datos sucios pueden ser un gran problema en la Web. Este capítulo cubre algunas herramientas y técnicas que te ayudarán a prevenir el problema en su origen, cambiando la forma en que escribes el código y limpiando los datos después de que estén en la base de datos.
Este es el capítulo en el que el web scraping se cruza con su pariente cercano, la ciencia de datos. Aunque el título de "científico de datos" puede evocar imágenes mentales de técnicas de programación de perímetro y matemáticas avanzadas, la verdad es que gran parte es trabajo sucio. Alguien tiene que limpiar y normalizar esos millones de registros antes de que puedan utilizarse para construir un modelo de aprendizaje automático, y esa persona es el científico de datos .
Become an O’Reilly member and get unlimited access to this title plus top books and audiobooks from O’Reilly and nearly 200 top publishers, thousands of courses curated by job role, 150+ live events each month,
and much more.
Read now
Unlock full access