Análisis de Texto Aplicado con Python

Capítulo 4. Vectorización del texto y tuberías de transformación

Este trabajo se ha traducido utilizando IA. Agradecemos tus opiniones y comentarios: [e-mail]

Los algoritmos de aprendizaje automático operan en un espacio de características numéricas, esperando la entrada como una matriz bidimensional en la que las filas son instancias y las columnas son características. Para aplicar el aprendizaje automático al texto, tenemos que transformar nuestros documentos en representaciones vectoriales que nos permitan aplicar el aprendizaje automático numérico. Este proceso se denomina extracción de rasgos o, más sencillamente, vectorización, y es un primer paso esencial hacia el análisis consciente del lenguaje.

Representar numéricamente los documentos nos da la capacidad de realizar análisis significativos y también crea las instancias sobre las que operan los algoritmos de aprendizaje automático. En el análisis de textos, las instancias son documentos enteros o enunciados, cuya longitud puede variar desde citas o tweets hasta libros enteros, pero cuyos vectores tienen siempre una longitud uniforme. Cada propiedad de la representación vectorial es una característica. En el caso del texto, las características representan atributos y propiedades de los documentos, incluido su contenido, así como metaatributos, como la longitud del documento, el autor, la fuente y la fecha de publicación. Cuando se consideran conjuntamente, las características de un documento describen ...