Processamento de linguagem natural com transformadores, edição revisada

Capítulo 11. Direcções futuras

Este trabalho foi traduzido com recurso a IA. Agradecemos o teu feedback e comentários: [e-mail]

Ao longo deste livro, explorámos as poderosas capacidades dos transformadores numa vasta gama de tarefas de PNL. Neste capítulo final, vamos mudar a nossa perspetiva e analisar alguns dos desafios actuais destes modelos e as tendências de pesquisa que estão a tentar ultrapassá-los. Na primeira parte, exploramos o tema do aumento de escala dos transformadores, tanto em termos de modelo como de tamanho do corpus. Em seguida, centramos a nossa atenção em várias técnicas que foram propostas para tornar o mecanismo de auto-atenção mais eficiente. Finalmente, exploramos o campo emergente e excitante dos transformadores multimodais, que podem modelar entradas em vários domínios, como texto, imagens e áudio.

Transformadores de escala

Em 2019, o pesquisador Richard Suttonescreveu um ensaio provocador intitulado "A Lição Amarga", no qual argumentava que:

A maior lição que se pode retirar de 70 anos de pesquisa em IA é que os métodos gerais que tiram partido da computação são, em última análise, os mais eficazes, e em grande medida.... Procurando uma melhoria que faça a diferença a curto prazo, os investigadores procuram tirar partido do seu conhecimento humano do domínio, mas a única coisa que importa a longo prazo é tirar partido da computação. Estes dois factores não precisam de se opor um ao outro, mas na prática tendem a fazê-lo.... ...