book

Planos para el análisis de textos con Python

by Jens Albrecht, Sidharth Ramachandran, Christian Winkler

September 2024

Intermediate to advanced

424 pages

13h 3m

Spanish

O'Reilly Media, Inc.

Book available

Read now

Unlock full access

Enfoque del LibroRequisitos previosAlgunas bibliotecas importantes que debes conocerLibros para leerConvenciones utilizadas en este libroUtilizar ejemplos de códigoAprendizaje en línea O'ReillyCómo contactar con nosotrosAgradecimientos
Lo que aprenderás y lo que construiremosAnálisis Exploratorio de DatosPresentación del conjunto de datosPlano: Obtener una visión general de los datos con PandasCálculo de estadísticas de resumen para columnasComprobar si faltan datosTrazar distribuciones de valoresComparar distribuciones de valores entre categoríasVisualizar la evolución en el tiempoPlano: Construir una cadena sencilla de preprocesamiento de textosRealizar la tokenización con expresiones regularesTratamiento de las palabras vacíasProcesar una tubería con una línea de códigoPlanos para el análisis de frecuencia de palabrasPlano: Contar palabras con un contadorPlano: Crear un diagrama de frecuenciasPlano: Crear nubes de palabrasPlano: Clasificación con TF-IDFPlano: Encontrar una palabra clave en contextoPlano: Analizar N-GramasPlano: Comparación de frecuencias entre intervalos de tiempo y categoríasCrear plazos de frecuenciaCrear mapas térmicos de frecuenciaObservaciones finales
Lo que aprenderás y lo que construiremosInterfaces de programación de aplicacionesPlano: Extraer datos de una API utilizando el módulo PeticionesPaginaciónLimitación de velocidadPlano: Extraer datos de Twitter con TweepyObtención de credencialesInstalación y configuración de TweepyExtraer datos de la API de búsquedaExtraer datos de la línea de tiempo de un usuarioExtraer datos de la API de streamingObservaciones finales
Lo que aprenderás y lo que construiremosRaspado y extracción de datosPresentación del Archivo de Noticias ReutersGeneración de URLPlano: Descargar e interpretar robots.txtPlano: Encontrar URLs a partir de sitemap.xmlPlano: Encontrar URLs a partir de RSSDescargar datosPlano: Descargar páginas HTML con PythonPlano: Descargar páginas HTML con wgetExtraer datos semiestructuradosPlano: Extraer datos con expresiones regularesPlano: Utilizar un analizador HTML para la extracciónPlano: ArañandoPresentación del caso prácticoTratamiento de errores y software de calidad de producciónExtracción de texto basada en la densidadExtraer contenido de Reuters con legibilidadResumen Extracción de texto basada en la densidadEnfoque integralPlano: Scraping del Archivo Reuters con ScrapyPosibles problemas con el raspadoObservaciones finales y recomendación
Lo que aprenderás y lo que construiremosUn proceso de preprocesamiento de datosPresentación del conjunto de datos: Autopublicaciones de RedditCargar datos en PandasAnteproyecto: Normalizar los nombres de los atributosGuardar y cargar un marco de datosLimpiar datos de textoPlano: Identificar el ruido con expresiones regularesPlano: Eliminar el ruido con expresiones regularesPlano: Normalización de caracteres con textacyPlano: Enmascaramiento de datos basado en patrones con textacyTokenizaciónPlano: Tokenización con expresiones regularesTokenización con NLTKRecomendaciones para la tokenizaciónProcesamiento lingüístico con spaCyInstanciar una canalizaciónProcesar textoPlano: Personalizar la tokenizaciónPlano: Trabajar con palabras vacíasPlano: Extracción de lemas basados en la parte de la oraciónPlano: Extraer frases sustantivasPlano: Extracción de entidades con nombreExtracción de características en un gran conjunto de datosPlano: Crear una función para conseguirlo todoPlano: Utilizar spaCy en un gran conjunto de datosPersistir en el resultadoNota sobre el tiempo de ejecuciónHay másDetección de idiomasCorrector ortográficoNormalización de tokensObservaciones finales y recomendaciones
Lo que aprenderás y lo que construiremosUn conjunto de datos de juguete para la experimentaciónPlano: Construye tu propio vectorizadorEnumerar el vocabularioVectorizar documentosLa Matriz Documento-TérminoLa matriz de similitudModelos de bolsas de palabrasPlano: Uso del CountVectorizer de scikit-learnPlano: Cálculo de similitudesModelos TF-IDFVectores de documentos optimizados con TfidfTransformerPresentación del conjunto de datos ABCPlano: Reducir las dimensiones de los elementosPlano: Mejorar las funciones haciéndolas más específicasPlano: Utilizar lemas en lugar de palabras para vectorizar documentosPlano: Limitar los tipos de palabrasPlano: Eliminar las palabras más comunesPlano: Añadir contexto mediante N-GramasSimilitud sintáctica en el conjunto de datos ABCPlano: Cómo encontrar los titulares más parecidos a un titular inventadoPlano: Encontrar los dos documentos más parecidos en un corpus grande (mucho más difícil)Plano: Encontrar palabras relacionadasConsejos para programas de larga duración como la similitud sintácticaResumen y Conclusión
Lo que aprenderás y lo que construiremosPresentación del conjunto de datos de errores de las herramientas de desarrollo de JavaPlano: Construir un sistema de clasificación de textosPaso 1: Preparación de los datosPaso 2: Dividir entrenamiento-pruebaPaso 3: Entrenar el modelo de aprendizaje automáticoPaso 4: Evaluación del modeloPlan definitivo para la clasificación de textosPlano: Utilizar la validación cruzada para estimar métricas de precisión realistasPlano: Realizar el ajuste de hiperparámetros con la búsqueda en cuadrículaRecapitulación y conclusión del PlanObservaciones finalesOtras lecturas
Lo que aprenderás y lo que construiremosPlano: Determinar la Confianza de la Clasificación Utilizando la Probabilidad de PredicciónPlano: Medir la importancia de las características de los modelos predictivosPlano: Utilizar LIME para explicar los resultados de la clasificaciónPlano: Utilizar el ELI5 para explicar los resultados de la clasificaciónPlano: Utilizar el anclaje para explicar los resultados de la clasificaciónUtilizar la distribución con palabras enmascaradasTrabajar con palabras realesObservaciones finales
Lo que aprenderás y lo que construiremosNuestro conjunto de datos: Debates Generales de la ONUComprobación de las estadísticas del corpusPreparativosFactorización de matrices no negativas (NMF)Plano: Creación de un modelo temático mediante NMF para documentosPlano: Creación de un modelo de tema para párrafos mediante NMFAnálisis Semántico Latente/IndexaciónPlano: Crear un modelo de tema para párrafos con SVDAsignación latente de DirichletPlano: Creación de un modelo temático para párrafos con LDAPlano: Visualización de los resultados del LDAPlano: Utilizar nubes de palabras para mostrar y comparar modelos temáticosPlano: Cálculo de la Distribución Temática de los Documentos y Evolución TemporalUso de Gensim para el modelado de temasPlano: Preparar los datos para GensimPlano: Factorización de matrices no negativas con GensimPlano: Utilizar LDA con GensimPlan: Cálculo de las puntuaciones de coherenciaPlano: Encontrar el número óptimo de temasPlano: Creación de un Proceso Dirichlet Jerárquico con GensimPlano: Utilizar la Agrupación para Descubrir la Estructura de los Datos TextualesOtras ideasResumen y recomendaciónConclusión
Lo que aprenderás y lo que construiremosResumir textoMétodos extractivosPreprocesamiento de datosPlano: Resumir un texto utilizando la representación de temasIdentificar palabras importantes con valores TF-IDFAlgoritmo LSAPlano: Resumir un texto utilizando una representación indicadoraMedir el rendimiento de los métodos de resumen de textosPlano: Resumir texto utilizando el aprendizaje automáticoPaso 1: Crear etiquetas de destinoPaso 2: Añadir características para ayudar a la predicción del modeloPaso 3: Construir un modelo de aprendizaje automáticoObservaciones finalesOtras lecturas

Lo que aprenderás y lo que construiremosEl caso de las incrustaciones semánticasIncrustación de palabrasRazonamiento por analogía con incrustación de palabrasTipos de incrustacionesPlano: Uso de consultas de similitud en modelos preentrenadosCargar un modelo preentrenadoConsultas de similitudPlanos para entrenar y evaluar tus propias incrustacionesPreparación de datosPlano: Entrenamiento de modelos con GensimAnteproyecto: Evaluación de diferentes modelosPlanos para visualizar incrustacionesPlano: Aplicación de la reducción de la dimensionalidadPlano: Uso del proyector de incrustación TensorFlowPlano: Construir un árbol de similitudObservaciones finalesOtras lecturas
Lo que aprenderás y lo que construiremosAnálisis de SentimientoPresentación del conjunto de datos de opiniones de clientes de AmazonPlano: Análisis de Sentimientos con Enfoques Basados en LéxicosLéxico Bing LiuDesventajas de un enfoque basado en el léxicoEnfoques de aprendizaje supervisadoPreparar los datos para un enfoque de aprendizaje supervisadoPlano: Vectorizar datos de texto y aplicar un algoritmo de aprendizaje automático supervisadoPaso 1: Preparación de los datosPaso 2: Dividir entrenamiento-pruebaPaso 3: Vectorización del textoPaso 4: Entrenar el modelo de aprendizaje automáticoModelos lingüísticos preentrenados mediante aprendizaje profundoAprendizaje profundo y aprendizaje por transferenciaPlano: Utilizando la Técnica del Aprendizaje por Transferencia y un Modelo Lingüístico PreentrenadoPaso 1: Carga de modelos y tokenizaciónPaso 2: Entrenamiento del modeloPaso 3: Evaluación del modeloObservaciones finalesOtras lecturas
Lo que aprenderás y lo que construiremosGráficos de conocimientoExtracción de informaciónPresentación del conjunto de datosReconocimiento de Entidades NombradasProyecto: Uso del reconocimiento de entidades con nombre basado en reglasPlano: Normalización de entidades con nombreFusión de tokens de entidadResolución de CoreferenciasPlano: Uso de las extensiones de token de spaCyPlano: Resolución de aliasPlano: Resolver variaciones de nombrePlano: Resolución de anáforas con NeuralCorefNormalización de nombresVinculación de entidadesPlano: Crear un gráfico de co-ocurrenciasExtraer co-ocurrencias de un documentoVisualizar el gráfico con GephiExtracción de relacionesPlano: Extraer relaciones mediante la concordancia de frasesPlano: Extracción de relaciones mediante árboles de dependenciaCrear el Gráfico de ConocimientosNo confíes ciegamente en los resultadosObservaciones finalesOtras lecturas
Lo que aprenderás y lo que construiremosPlano: Utilizar Conda para crear entornos Python reproduciblesPlano: Utilizar contenedores para crear entornos reproduciblesPlano: Creación de una API REST para tu modelo de análisis de textoPlan: Implementación y ampliación de tu API con un proveedor en la nubePlano: Versionado e Implementación automática de compilacionesObservaciones finalesOtras lecturas

Content preview from Planos para el análisis de textos con Python

Capítulo 5. Ingeniería de rasgos y similitud sintáctica

Este trabajo se ha traducido utilizando IA. Agradecemos tus opiniones y comentarios: translation-feedback@oreilly.com

Como vimos en el Capítulo 1, el texto es significativamente diferente de los datos estructurados. Una de las diferencias más llamativas es que el texto se representa mediante palabras, mientras que los datos estructurados (en su mayoría) utilizan números. Desde un punto de vista científico, siglos de investigación matemática han conducido a una comprensión extremadamente buena de los números y a métodos sofisticados. La ciencia de la información ha recogido esa investigación matemática, y además se han inventado muchos algoritmos creativos. Los recientes avances en el aprendizaje automático de han generalizado muchos algoritmos que antes eran muy específicos y los han hecho aplicables a muchos casos de uso diferentes. Estos métodos "aprenden" directamente de los datos y proporcionan una visión imparcial.

Para utilizar estos instrumentos, tenemos que encontrar una correspondencia entre texto y números. Teniendo en cuenta la riqueza y complejidad del texto, está claro que un solo número no bastará para representar el significado de un documento. Se necesita algo más complejo. La extensión natural de los números reales en matemáticas es una tupla de números reales, llamada vector. Casi todas las representaciones de texto en el análisis de textos y el aprendizaje automático utilizan vectores; para más información, ...