book

Procesamiento del Lenguaje Natural con Transformadores, Edición Revisada

Name: Procesamiento del Lenguaje Natural con Transformadores, Edición Revisada
ISBN: 9781098181468

by Lewis Tunstall, Leandro von Werra, Thomas Wolf

September 2024

Intermediate to advanced

408 pages

12h 11m

Spanish

O'Reilly Media, Inc.

Read now

Unlock full access

Prólogo
Prefacio
¿A quién va dirigido este libro?Lo que aprenderásRequisitos de software y hardwareConvenciones utilizadas en este libroUtilizar ejemplos de códigoAprendizaje en línea O'ReillyCómo contactar con nosotrosAgradecimientosLewisLeandroThomas
1. Hola Transformers
El marco codificador-decodificadorMecanismos de atenciónAprendizaje por transferencia en PNLTransformadores de Caras Abrazadas: Salvando las distanciasUn recorrido por las aplicaciones de los transformadoresClasificación del textoReconocimiento de Entidades NombradasRespuesta a preguntasResumirTraducciónGeneración de textoEl Ecosistema de las Caras AbrazadasEl Centro de Caras AbrazadasTokenizadores de caras abrazadasConjuntos de datos de caras abrazadasCara de abrazo AcelerarPrincipales retos con los transformadoresConclusión
2. Clasificación del texto
El conjunto de datosUn primer vistazo a los conjuntos de datos de caras abrazadasDe conjuntos de datos a marcos de datosObservando la distribución por clases¿Cuánto duran nuestros Tweets?Del texto a las fichasTokenización de caracteresTokenización de palabrasTokenización de subpalabrasTokenizar todo el conjunto de datosEntrenar un clasificador de textoLos transformadores como extractores de rasgosTransformadores de ajuste finoConclusión
3. Anatomía del transformador
La arquitectura del transformadorEl codificadorAutoatenciónLa capa de alimentaciónAñadir normalización de capasIncrustaciones posicionalesAñadir un Cabezal de ClasificaciónEl DescodificadorConoce a los TransformersEl Árbol de la Vida TransformerLa rama codificadoraLa Rama DecodificadoraLa rama codificador-decodificadorConclusión
4. Reconocimiento multilingüe de entidades con nombre
El conjunto de datosTransformadores multilingüesUna mirada más cercana a la tokenizaciónLa tubería del tokenizadorEl tokenizador de frasesTransformadores para el Reconocimiento de Entidades NombradasLa anatomía de la clase modelo de TransformersCuerpos y cabezasCrear un modelo personalizado para la clasificación de tokensCargar un modelo personalizadoTokenización de textos para NERMedidas de rendimientoAjuste de XLM-RoBERTaAnálisis de erroresTransferencia multilingüe¿Cuándo tiene sentido la transferencia a tiro cero?Ajuste fino en varias lenguas a la vezInteractuar con los widgets del modeloConclusión
5. Generación de texto
El reto de generar un texto coherenteDescodificación por búsqueda codiciosaDescodificación de la búsqueda del hazMétodos de muestreoMuestreo Top-k y Núcleo¿Qué método de descodificación es mejor?Conclusión
6. Resumir
El conjunto de datos CNN/DailyMailLíneas de resumen de textoResumen Línea de baseGPT-2T5BARTPEGASOComparar diferentes resúmenesMedir la calidad del texto generadoBLEUROUGEEvaluación de PEGASUS en el conjunto de datos CNN/DailyMailEntrenar un modelo de resumenEvaluación de PEGASUS en SAMSumAjuste fino de PEGASUSGenerar resúmenes de diálogoConclusión
7. Respuesta a preguntas
Crear un sistema de garantía de calidad basado en la revisiónEl conjunto de datosExtraer respuestas de un textoUtilizar Haystack para crear una cadena de control de calidadMejorar nuestro proceso de control de calidadEvaluación del RetrieverEvaluar al lectorAdaptación del dominioEvaluar toda la cadena de control de calidadMás allá de la garantía de calidad extractivaConclusión
8. Hacer que los transformadores sean eficientes en la producción
La detección de intenciones como caso prácticoCrear una referencia de rendimientoReducir el tamaño de los modelos mediante la destilación de conocimientosDestilación de conocimientos para el ajuste finoDestilación de conocimientos para la formación previaCrear un Formador de Destilación de ConocimientosElegir una buena inicialización del alumnoEncontrar buenos hiperparámetros con OptunaEvaluación comparativa de nuestro modelo destiladoHacer modelos más rápidos con la cuantizaciónEvaluación comparativa de nuestro modelo cuantizadoOptimizar la inferencia con ONNX y el tiempo de ejecución de ONNXHacer modelos más parcos con la poda de pesosDispersión en redes neuronales profundasMétodos de poda de pesoConclusión

9. Tratar con pocas o ninguna etiqueta
Crear un etiquetador de problemas de GitHubObtener los datosPreparación de los datosCrear conjuntos de entrenamientoCrear trozos de entrenamientoPoner en práctica una línea Bayesiana ingenuaTrabajar con datos no etiquetadosTrabajar con pocas etiquetasAumento de datosUtilizar incrustaciones como tabla de consultaAjuste fino de un transformador vainillaAprendizaje en contexto y de pocas tomas con avisosAprovechar los datos no etiquetadosAfinar un modelo lingüísticoAfinar un clasificadorMétodos avanzadosConclusión
10. Entrenamiento de transformadores desde cero
Grandes conjuntos de datos y dónde encontrarlosRetos de la creación de un corpus a gran escalaCrear un conjunto de datos de código personalizadoTrabajar con grandes conjuntos de datosAñadir conjuntos de datos al Hub de Caras AbrazadasConstruir un tokenizadorEl modelo TokenizerMedir el rendimiento del tokenizadorUn tokenizador para PythonEntrenar un TokenizerGuardar un Tokenizer personalizado en HubEntrenar un modelo desde ceroUna historia de objetivos previos a la formaciónInicializar el modeloImplementación del cargador de datosDefinir el bucle de entrenamientoLa carrera de entrenamientoResultados y análisisConclusión
11. Orientaciones futuras
Transformadores de escalaLeyes de escalaRetos de la ampliación¡Atención, por favor!Atención dispersaAtención LinealizadaIr más allá del textoVisiónTablasTransformadores multimodalesDe voz a textoVisión y texto¿Adónde vamos desde aquí?
Índice
Sobre los autores

Overview

Este trabajo se ha traducido utilizando IA. Agradecemos tus opiniones y comentarios: translation-feedback@oreilly.com

Desde su introducción en 2017, los transformadores se han convertido rápidamente en la arquitectura dominante para lograr resultados de vanguardia en diversas tareas de procesamiento del lenguaje natural. Si eres un científico de datos o un programador, este práctico libro -ahora revisado a todo color- te muestra cómo entrenar y escalar estos grandes modelos utilizando Transformadores de Caras Abrazadas, una biblioteca de aprendizaje profundo basada en Python.

Los Transformers se han utilizado para escribir noticias realistas, mejorar las consultas de Google Search e incluso crear chatbots que cuentan chistes cursis. En esta guía, los autores Lewis Tunstall, Leandro von Werra y Thomas Wolf, creadores de Hugging Face Transformers, utilizan un enfoque práctico para enseñarte cómo funcionan los transformadores y cómo integrarlos en tus aplicaciones. Aprenderás rápidamente una gran variedad de tareas que pueden ayudarte a resolver.

Construye, depura y optimiza modelos de transformadores para tareas básicas de PNL, como la clasificación de textos, el reconocimiento de entidades con nombre y la respuesta a preguntas.
Aprende cómo se pueden utilizar los transformadores para el aprendizaje de transferencia multilingüe
Aplica los transformadores en situaciones reales en las que escasean los datos etiquetados.
Hacer que los modelos de transformadores sean eficientes para su despliegue utilizando técnicas como la destilación, la poda y la cuantización
Entrena transformadores desde cero y aprende a escalarlos a múltiples GPU y entornos distribuidos

Become an O’Reilly member and get unlimited access to this title plus top books and audiobooks from O’Reilly and nearly 200 top publishers, thousands of courses curated by job role, 150+ live events each month,
and much more.

Read now

Unlock full access

More than 5,000 organizations count on O’Reilly

O’Reilly covers everything we've got, with content to help us build a world-class technology community, upgrade the capabilities and competencies of our teams, and improve overall team performance as well as their engagement.

Julian F.

Head of Cybersecurity

I wanted to learn C and C++, but it didn't click for me until I picked up an O'Reilly book. When I went on the O’Reilly platform, I was astonished to find all the books there, plus live events and sandboxes so you could play around with the technology.

Addison B.

Field Engineer

I’ve been on the O’Reilly platform for more than eight years. I use a couple of learning platforms, but I'm on O'Reilly more than anybody else. When you're there, you start learning. I'm never disappointed.

Amir M.

Data Platform Tech Lead

I'm always learning. So when I got on to O'Reilly, I was like a kid in a candy store. There are playlists. There are answers. There's on-demand training. It's worth its weight in gold, in terms of what it allows me to do.

Mark W.

Embedded Software Engineer

Procesamiento del Lenguaje Natural Aplicado en la Empresa

Publisher Resources

ISBN: 9781098181468

Cloud Computing

Data Engineering

Data Science

AI & ML

Programming Languages

Software Architecture

IT/Ops

Security

Design

Business

Soft Skills