Processamento de linguagem natural com transformadores, edição revisada

Prefácio

Este trabalho foi traduzido com recurso a IA. Agradecemos o teu feedback e comentários: [e-mail]

Desde a sua introdução em 2017, os transformadores tornaram-se o padrão de facto para lidar com uma vasta gama de tarefas de processamento de linguagem natural (PNL), tanto no meio académico como na indústria. Sem te aperceberes, provavelmente interagiste com um transformador hoje: O Google utiliza agora o BERT para melhorar o seu motor de pesquisa, compreendendo melhor as consultas de pesquisa dos utilizadores. Do mesmo modo, a família de modelos GPT da OpenAI tem sido repetidamente notícia nos principais meios de comunicação social pela sua capacidade de gerar texto e imagens semelhantes aos humanos.¹ Estes transformadores alimentam agora aplicações como o Copilot do GitHub, que, como mostra a Figura P-1, pode converter um comentário em código fonte que cria automaticamente uma rede neural para ti!

Então, o que é que os transformadores têm que mudou o campo quase de um dia para o outro? Tal como muitas grandes descobertas científicas, foi a síntese de várias ideias, como a atenção, a aprendizagem por transferência e oaumento da escala das redes neuronais, que estavam a ser discutidas na comunidade de pesquisa na altura.

Mas por muito útil que seja, para ganhar força na indústria, qualquer método novo e sofisticado precisa de ferramentas que o tornem acessível. AbibliotecaTransformers e o ecossistema que a rodeia responderam a esse apelo, facilitando ...