book

Processamento de linguagem natural com transformadores, edição revisada

by Lewis Tunstall, Leandro von Werra, Thomas Wolf

April 2025

Intermediate to advanced

408 pages

11h 50m

Portuguese (Portugal, Brazil)

O'Reilly Media, Inc.

Book available

Read now

Unlock full access

Para quem é este livro?O que vais aprenderRequisitos de software e hardwareConvenções utilizadas neste livroUtilizar exemplos de códigoAprendizagem em linha da O'ReillyComo contactar-nosAgradecimentosLewisLeandroTomás
A estrutura codificador-decodificadorMecanismos de atençãoAprendizagem por transferência em PNLTransformadores de rostos abraçados: Colmatar o fossoUma visita às aplicações dos transformadoresClassificação do textoReconhecimento de entidades nomeadasResposta a perguntasSumarizaçãoTraduçãoGeração de textoO Ecossistema da Cara de AbraçoO Centro da Cara de AbraçoTokenizadores de rostos abraçadosConjuntos de dados de rostos abraçadosCara de abraço AceleraPrincipais desafios dos transformadoresConclusão
O conjunto de dadosUm primeiro olhar sobre os conjuntos de dados de rostos abraçadosDe conjuntos de dados a DataFramesVerificação da distribuição de classesQuanto tempo duram os teus tweets?Do texto aos tokensTokenização de caracteresTokenização de palavrasTokenização de subpalavrasTokenizar todo o conjunto de dadosTreinar um classificador de textoTransformadores como extractores de caraterísticasTransformadores de ajuste finoConclusão
A arquitetura do transformadorO codificadorAuto-atençãoA camada de alimentaçãoAdicionar normalização de camadasEmbeddings posicionaisAdicionar uma cabeça de classificaçãoO descodificadorConhece os TransformersA Árvore da Vida dos TransformersO ramo codificadorO ramo descodificadorO ramo codificador-decodificadorConclusão
O conjunto de dadosTransformadores MultilinguesUm olhar mais atento à TokenizaçãoO pipeline do TokenizerO Tokenizer SentencePieceTransformadores para reconhecimento de entidades nomeadasA anatomia da classe de modelos TransformersCorpos e cabeçasCriação de um modelo personalizado para classificação de tokensCarregamento de um modelo personalizadoTokenização de textos para NERMedidas de desempenhoAfinação do XLM-RoBERTaAnálise de errosTransferência entre línguasQuando é que a transferência de tiro zero faz sentido?Afinação de várias línguas em simultâneoInteragir com widgets de modeloConclusão
O desafio de gerar um texto coerenteDescodificação por pesquisa gulosaDescodificação de pesquisa de feixeMétodos de amostragemAmostragem Top-k e de NúcleosQual é o melhor método de descodificação?Conclusão
O conjunto de dados CNN/DailyMailPipelines de Sumarização de TextoSumarização Linha de baseGPT-2T5BARTPEGASUSComparação de resumos diferentesMedir a qualidade do texto geradoBLEUROUGEAvaliação do PEGASUS no conjunto de dados CNN/DailyMailTreinar um modelo de compactaçãoAvaliação do PEGASUS no SAMSumAfinação do PEGASUSGeração de resumos de diálogosConclusão
Criar um sistema de garantia de qualidade baseado em revisõesO conjunto de dadosExtrair respostas do textoUsando o Haystack para criar um pipeline de QAMelhorar o nosso pipeline de garantia de qualidadeAvaliação do RetrieverAvaliar o leitorAdaptação do domínioAvaliação de todo o pipeline de QAGo beyond Extractive QAConclusão
A deteção de intenções como um caso de estudoCriar uma referência de desempenhoTornar os modelos mais pequenos através da destilação de conhecimentosDestilação de conhecimentos para afinaçãoDestilação de conhecimentos para pré-treinoCriar um formador de destilação de conhecimentosEscolhendo uma boa inicialização de alunoEncontrar bons hiperparâmetros com o OptunaAferição do nosso modelo destiladoTornar os modelos mais rápidos com a quantizaçãoAferição do nosso modelo quantizadoOtimizar a inferência com ONNX e o tempo de execução ONNXTornar os modelos mais esparsos com a poda de pesosEsparsidade em redes neurais profundasMétodos de poda de pesoConclusão

Criar um marcador de problemas do GitHubObter os dadosPreparar os dadosCriar conjuntos de treinamentoCriar cortes de formaçãoImplementação de um Naive BayeslineTrabalhar com dados não rotuladosTrabalhar com algumas etiquetasAumento de dadosUtilizar Embeddings como uma tabela de pesquisaAfinação de um transformador VanillaAprendizagem em contexto e de poucas oportunidades com promptAproveitamento de dados não rotuladosAfinar um modelo linguísticoAfinação de um classificadorMétodos avançadosConclusão
Grandes conjuntos de dados e onde encontrá-losDesafios da construção de um corpus de grande escalaCriar um conjunto de dados de código personalizadoTrabalhar com grandes conjuntos de dadosAdicionando conjuntos de dados ao hub de rostos abraçadosCriar um TokenizerO modelo do TokenizerMedir o desempenho do TokenizerUm Tokenizer para PythonTreinar um TokenizerGuardar um Tokenizer Personalizado no HubTreinar um modelo a partir do zeroUma história de objectivos de pré-formaçãoInicialização do modeloImplementar o carregador de dadosDefinir o circuito de formaçãoA corrida de treinoResultados e análiseConclusão
Transformadores de escalaLeis de escalaDesafios com a escalaAtenção, por favor!Atenção esparsaAtenção LinearizadaVai para além do textoVisãoTabelasTransformadores multimodaisFala para textoVisão e textoPara onde vais a partir daqui?

Overview

Este trabalho foi traduzido com recurso a IA. Agradecemos o teu feedback e comentários: translation-feedback@oreilly.com

Desde a sua introdução em 2017, os transformadores tornaram-se rapidamente a arquitetura dominante para alcançar resultados de ponta numa variedade de tarefas de processamento de linguagem natural. Se és um cientista de dados ou programador, este livro prático - agora revisto a cores - mostra-te como treinar e escalar estes grandes modelos usando Hugging Face Transformers, uma biblioteca de aprendizagem profunda baseada em Python.

Os Transformers têm sido utilizados para escrever notícias realistas, melhorar as consultas de pesquisa do Google e até criar chatbots que contam piadas pirosas. Neste guia, os autores Lewis Tunstall, Leandro von Werra e Thomas Wolf, entre os criadores da Hugging Face Transformers, utilizam uma abordagem prática para te ensinar como os transformadores funcionam e como integrá-los nas tuas aplicações. Aprenderás rapidamente uma variedade de tarefas que podem ajudar-te a resolver.

Constrói, depura e optimiza modelos de transformadores para as principais tarefas de PNL, como a classificação de texto, o reconhecimento de entidades nomeadas e a resposta a perguntas
Aprende como os transformadores podem ser utilizados para a aprendizagem por transferência multilingue
Aplica transformadores em cenários do mundo real onde os dados rotulados são escassos
Torna os modelos de transformadores eficientes para a implementação utilizando técnicas como a destilação, a poda e a quantização
Treina transformadores do zero e aprende a escalar para várias GPUs e ambientes distribuídos