Planos para el análisis de textos con Python

Capítulo 4. Preparación de datos textuales para la estadística y el aprendizaje automático

Este trabajo se ha traducido utilizando IA. Agradecemos tus opiniones y comentarios: [e-mail]

Técnicamente, cualquier documento de texto no es más que una secuencia de caracteres. Para construir modelos sobre el contenido, necesitamos transformar un texto en una secuencia de palabras o, de forma más general, en secuencias significativas de caracteres llamadas tokens. Pero eso por sí solo no basta. Piensa en la secuencia de palabras Nueva York, que debe tratarse como una única entidad con nombre. Identificar correctamente tales secuencias de palabras como estructuras compuestas requiere un procesamiento lingüístico sofisticado.

La preparación de datos o preprocesamiento de datos en general implica no sólo la transformación de los datos en una forma que pueda servir de base para el análisis, sino también la eliminación del ruido perturbador. Lo que es ruido y lo que no lo es depende siempre del análisis que vayas a realizar. Cuando se trabaja con texto, el ruido tiene distintos sabores. Los datos en bruto pueden incluir etiquetas HTML o caracteres especiales que deben eliminarse en la mayoría de los casos. Pero las palabras frecuentes que tienen poco significado, las llamadas stop words, introducen ruido en el aprendizaje automático y el análisis de datos porque dificultan la detección de patrones.

Lo que aprenderás y lo que construiremos

En este capítulo, desarrollaremos ...