book

Processamento de linguagem natural com transformadores, edição revisada

by Lewis Tunstall, Leandro von Werra, Thomas Wolf

April 2025

Intermediate to advanced

408 pages

11h 50m

Portuguese (Portugal, Brazil)

O'Reilly Media, Inc.

Book available

Read now

Unlock full access

Para quem é este livro?O que vais aprenderRequisitos de software e hardwareConvenções utilizadas neste livroUtilizar exemplos de códigoAprendizagem em linha da O'ReillyComo contactar-nosAgradecimentosLewisLeandroTomás
A estrutura codificador-decodificadorMecanismos de atençãoAprendizagem por transferência em PNLTransformadores de rostos abraçados: Colmatar o fossoUma visita às aplicações dos transformadoresClassificação do textoReconhecimento de entidades nomeadasResposta a perguntasSumarizaçãoTraduçãoGeração de textoO Ecossistema da Cara de AbraçoO Centro da Cara de AbraçoTokenizadores de rostos abraçadosConjuntos de dados de rostos abraçadosCara de abraço AceleraPrincipais desafios dos transformadoresConclusão
O conjunto de dadosUm primeiro olhar sobre os conjuntos de dados de rostos abraçadosDe conjuntos de dados a DataFramesVerificação da distribuição de classesQuanto tempo duram os teus tweets?Do texto aos tokensTokenização de caracteresTokenização de palavrasTokenização de subpalavrasTokenizar todo o conjunto de dadosTreinar um classificador de textoTransformadores como extractores de caraterísticasTransformadores de ajuste finoConclusão
A arquitetura do transformadorO codificadorAuto-atençãoA camada de alimentaçãoAdicionar normalização de camadasEmbeddings posicionaisAdicionar uma cabeça de classificaçãoO descodificadorConhece os TransformersA Árvore da Vida dos TransformersO ramo codificadorO ramo descodificadorO ramo codificador-decodificadorConclusão
O conjunto de dadosTransformadores MultilinguesUm olhar mais atento à TokenizaçãoO pipeline do TokenizerO Tokenizer SentencePieceTransformadores para reconhecimento de entidades nomeadasA anatomia da classe de modelos TransformersCorpos e cabeçasCriação de um modelo personalizado para classificação de tokensCarregamento de um modelo personalizadoTokenização de textos para NERMedidas de desempenhoAfinação do XLM-RoBERTaAnálise de errosTransferência entre línguasQuando é que a transferência de tiro zero faz sentido?Afinação de várias línguas em simultâneoInteragir com widgets de modeloConclusão
O desafio de gerar um texto coerenteDescodificação por pesquisa gulosaDescodificação de pesquisa de feixeMétodos de amostragemAmostragem Top-k e de NúcleosQual é o melhor método de descodificação?Conclusão
O conjunto de dados CNN/DailyMailPipelines de Sumarização de TextoSumarização Linha de baseGPT-2T5BARTPEGASUSComparação de resumos diferentesMedir a qualidade do texto geradoBLEUROUGEAvaliação do PEGASUS no conjunto de dados CNN/DailyMailTreinar um modelo de compactaçãoAvaliação do PEGASUS no SAMSumAfinação do PEGASUSGeração de resumos de diálogosConclusão
Criar um sistema de garantia de qualidade baseado em revisõesO conjunto de dadosExtrair respostas do textoUsando o Haystack para criar um pipeline de QAMelhorar o nosso pipeline de garantia de qualidadeAvaliação do RetrieverAvaliar o leitorAdaptação do domínioAvaliação de todo o pipeline de QAGo beyond Extractive QAConclusão
A deteção de intenções como um caso de estudoCriar uma referência de desempenhoTornar os modelos mais pequenos através da destilação de conhecimentosDestilação de conhecimentos para afinaçãoDestilação de conhecimentos para pré-treinoCriar um formador de destilação de conhecimentosEscolhendo uma boa inicialização de alunoEncontrar bons hiperparâmetros com o OptunaAferição do nosso modelo destiladoTornar os modelos mais rápidos com a quantizaçãoAferição do nosso modelo quantizadoOtimizar a inferência com ONNX e o tempo de execução ONNXTornar os modelos mais esparsos com a poda de pesosEsparsidade em redes neurais profundasMétodos de poda de pesoConclusão

Criar um marcador de problemas do GitHubObter os dadosPreparar os dadosCriar conjuntos de treinamentoCriar cortes de formaçãoImplementação de um Naive BayeslineTrabalhar com dados não rotuladosTrabalhar com algumas etiquetasAumento de dadosUtilizar Embeddings como uma tabela de pesquisaAfinação de um transformador VanillaAprendizagem em contexto e de poucas oportunidades com promptAproveitamento de dados não rotuladosAfinar um modelo linguísticoAfinação de um classificadorMétodos avançadosConclusão
Grandes conjuntos de dados e onde encontrá-losDesafios da construção de um corpus de grande escalaCriar um conjunto de dados de código personalizadoTrabalhar com grandes conjuntos de dadosAdicionando conjuntos de dados ao hub de rostos abraçadosCriar um TokenizerO modelo do TokenizerMedir o desempenho do TokenizerUm Tokenizer para PythonTreinar um TokenizerGuardar um Tokenizer Personalizado no HubTreinar um modelo a partir do zeroUma história de objectivos de pré-formaçãoInicialização do modeloImplementar o carregador de dadosDefinir o circuito de formaçãoA corrida de treinoResultados e análiseConclusão
Transformadores de escalaLeis de escalaDesafios com a escalaAtenção, por favor!Atenção esparsaAtenção LinearizadaVai para além do textoVisãoTabelasTransformadores multimodaisFala para textoVisão e textoPara onde vais a partir daqui?

Content preview from Processamento de linguagem natural com transformadores, edição revisada

Capítulo 5. Geração de texto

Este trabalho foi traduzido com recurso a IA. Agradecemos o teu feedback e comentários: translation-feedback@oreilly.com

Uma das caraterísticas mais estranhas dos modelos de linguagem baseados em transformadores é a sua capacidade de gerar texto que é quase indistinguível do texto escrito por humanos. Um exemplo famoso é o GPT-2 da OpenAI, que quando lhe é dado o prompt:¹

Numa descoberta chocante, os cientistas descobriram uma manada de unicórnios a viver num vale remoto, anteriormente inexplorado, na Cordilheira dos Andes. Mais surpreendente ainda para os pesquisadores foi o facto de os unicórnios falarem inglês perfeitamente.

foi capaz de gerar um artigo de notícias convincente sobre unicórnios falantes:

O cientista deu a esta população o nome de Unicórnio de Ovídio, devido ao seu chifre caraterístico. Estes unicórnios de quatro chifres, branco-prateados, eram anteriormente desconhecidos da ciência. Agora, após quase dois séculos, o mistério do que desencadeou este estranho fenómeno está finalmente resolvido. O Dr. Jorge Pérez, biólogo evolutivo da Universidade de La Paz, e vários companheiros, estavam a explorar a Cordilheira dos Andes quando encontraram um pequeno vale, sem outros animais ou humanos. Pérez reparou que o vale tinha o que parecia ser uma fonte natural, rodeada por dois picos de rocha e neve prateada. Pérez e os outros aventuraram-se então mais para dentro do vale. "Quando chegámos ao topo de um dos picos, a água parecia azul, com ...