book

Processamento de linguagem natural com transformadores, edição revisada

by Lewis Tunstall, Leandro von Werra, Thomas Wolf

April 2025

Intermediate to advanced

408 pages

11h 50m

Portuguese (Portugal, Brazil)

O'Reilly Media, Inc.

Book available

Read now

Unlock full access

Para quem é este livro?O que vais aprenderRequisitos de software e hardwareConvenções utilizadas neste livroUtilizar exemplos de códigoAprendizagem em linha da O'ReillyComo contactar-nosAgradecimentosLewisLeandroTomás
A estrutura codificador-decodificadorMecanismos de atençãoAprendizagem por transferência em PNLTransformadores de rostos abraçados: Colmatar o fossoUma visita às aplicações dos transformadoresClassificação do textoReconhecimento de entidades nomeadasResposta a perguntasSumarizaçãoTraduçãoGeração de textoO Ecossistema da Cara de AbraçoO Centro da Cara de AbraçoTokenizadores de rostos abraçadosConjuntos de dados de rostos abraçadosCara de abraço AceleraPrincipais desafios dos transformadoresConclusão
O conjunto de dadosUm primeiro olhar sobre os conjuntos de dados de rostos abraçadosDe conjuntos de dados a DataFramesVerificação da distribuição de classesQuanto tempo duram os teus tweets?Do texto aos tokensTokenização de caracteresTokenização de palavrasTokenização de subpalavrasTokenizar todo o conjunto de dadosTreinar um classificador de textoTransformadores como extractores de caraterísticasTransformadores de ajuste finoConclusão
A arquitetura do transformadorO codificadorAuto-atençãoA camada de alimentaçãoAdicionar normalização de camadasEmbeddings posicionaisAdicionar uma cabeça de classificaçãoO descodificadorConhece os TransformersA Árvore da Vida dos TransformersO ramo codificadorO ramo descodificadorO ramo codificador-decodificadorConclusão
O conjunto de dadosTransformadores MultilinguesUm olhar mais atento à TokenizaçãoO pipeline do TokenizerO Tokenizer SentencePieceTransformadores para reconhecimento de entidades nomeadasA anatomia da classe de modelos TransformersCorpos e cabeçasCriação de um modelo personalizado para classificação de tokensCarregamento de um modelo personalizadoTokenização de textos para NERMedidas de desempenhoAfinação do XLM-RoBERTaAnálise de errosTransferência entre línguasQuando é que a transferência de tiro zero faz sentido?Afinação de várias línguas em simultâneoInteragir com widgets de modeloConclusão
O desafio de gerar um texto coerenteDescodificação por pesquisa gulosaDescodificação de pesquisa de feixeMétodos de amostragemAmostragem Top-k e de NúcleosQual é o melhor método de descodificação?Conclusão
O conjunto de dados CNN/DailyMailPipelines de Sumarização de TextoSumarização Linha de baseGPT-2T5BARTPEGASUSComparação de resumos diferentesMedir a qualidade do texto geradoBLEUROUGEAvaliação do PEGASUS no conjunto de dados CNN/DailyMailTreinar um modelo de compactaçãoAvaliação do PEGASUS no SAMSumAfinação do PEGASUSGeração de resumos de diálogosConclusão
Criar um sistema de garantia de qualidade baseado em revisõesO conjunto de dadosExtrair respostas do textoUsando o Haystack para criar um pipeline de QAMelhorar o nosso pipeline de garantia de qualidadeAvaliação do RetrieverAvaliar o leitorAdaptação do domínioAvaliação de todo o pipeline de QAGo beyond Extractive QAConclusão
A deteção de intenções como um caso de estudoCriar uma referência de desempenhoTornar os modelos mais pequenos através da destilação de conhecimentosDestilação de conhecimentos para afinaçãoDestilação de conhecimentos para pré-treinoCriar um formador de destilação de conhecimentosEscolhendo uma boa inicialização de alunoEncontrar bons hiperparâmetros com o OptunaAferição do nosso modelo destiladoTornar os modelos mais rápidos com a quantizaçãoAferição do nosso modelo quantizadoOtimizar a inferência com ONNX e o tempo de execução ONNXTornar os modelos mais esparsos com a poda de pesosEsparsidade em redes neurais profundasMétodos de poda de pesoConclusão

Criar um marcador de problemas do GitHubObter os dadosPreparar os dadosCriar conjuntos de treinamentoCriar cortes de formaçãoImplementação de um Naive BayeslineTrabalhar com dados não rotuladosTrabalhar com algumas etiquetasAumento de dadosUtilizar Embeddings como uma tabela de pesquisaAfinação de um transformador VanillaAprendizagem em contexto e de poucas oportunidades com promptAproveitamento de dados não rotuladosAfinar um modelo linguísticoAfinação de um classificadorMétodos avançadosConclusão
Grandes conjuntos de dados e onde encontrá-losDesafios da construção de um corpus de grande escalaCriar um conjunto de dados de código personalizadoTrabalhar com grandes conjuntos de dadosAdicionando conjuntos de dados ao hub de rostos abraçadosCriar um TokenizerO modelo do TokenizerMedir o desempenho do TokenizerUm Tokenizer para PythonTreinar um TokenizerGuardar um Tokenizer Personalizado no HubTreinar um modelo a partir do zeroUma história de objectivos de pré-formaçãoInicialização do modeloImplementar o carregador de dadosDefinir o circuito de formaçãoA corrida de treinoResultados e análiseConclusão
Transformadores de escalaLeis de escalaDesafios com a escalaAtenção, por favor!Atenção esparsaAtenção LinearizadaVai para além do textoVisãoTabelasTransformadores multimodaisFala para textoVisão e textoPara onde vais a partir daqui?

Content preview from Processamento de linguagem natural com transformadores, edição revisada

Capítulo 4. Reconhecimento multilingue de entidades nomeadas

Este trabalho foi traduzido com recurso a IA. Agradecemos o teu feedback e comentários: translation-feedback@oreilly.com

Até agora, neste livro, aplicámos transformadores para resolver tarefas de PNL em corpora ingleses - mas o que fazer quando os teus documentos estão escritos em grego, swahili ou klingon? Uma abordagem é procurar no Hugging Face Hub um modelo de linguagem pré-treinado adequado e ajustá-lo à tarefa em questão. No entanto, estes modelos pré-treinados tendem a existir apenas para línguas com "recursos elevados" como o alemão, o russo ou o mandarim, onde existe muito texto Web disponível para pré-treino. Outro desafio comum surge quando o seu corpus é multilingue: manter vários modelos monolingues em produção não será nada divertido para si ou para a sua equipa de engenharia.

Felizmente, existe uma classe de transformadores multilingues que vêm em seu socorro. Tal como o BERT, estes modelos utilizam a modelação de linguagem mascarada como objetivo de pré-treino, mas são treinados conjuntamente em textos de mais de cem línguas. Ao pré-treinarem em grandes corpora de várias línguas, estes transformadores multilingues permitem a transferência multilingue sem qualquer esforço, o que significa que um modelo afinado numa língua pode ser aplicado a outras sem qualquer treino adicional! Isto também torna estes modelos adequados para o "code-switching", em que um falante alterna entre duas ou mais línguas ou dialectos ...