Processamento de linguagem natural com transformadores, edição revisada

Capítulo 5. Geração de texto

Este trabalho foi traduzido com recurso a IA. Agradecemos o teu feedback e comentários: [e-mail]

Uma das caraterísticas mais estranhas dos modelos de linguagem baseados em transformadores é a sua capacidade de gerar texto que é quase indistinguível do texto escrito por humanos. Um exemplo famoso é o GPT-2 da OpenAI, que quando lhe é dado o prompt:¹

Numa descoberta chocante, os cientistas descobriram uma manada de unicórnios a viver num vale remoto, anteriormente inexplorado, na Cordilheira dos Andes. Mais surpreendente ainda para os pesquisadores foi o facto de os unicórnios falarem inglês perfeitamente.

foi capaz de gerar um artigo de notícias convincente sobre unicórnios falantes:

O cientista deu a esta população o nome de Unicórnio de Ovídio, devido ao seu chifre caraterístico. Estes unicórnios de quatro chifres, branco-prateados, eram anteriormente desconhecidos da ciência. Agora, após quase dois séculos, o mistério do que desencadeou este estranho fenómeno está finalmente resolvido. O Dr. Jorge Pérez, biólogo evolutivo da Universidade de La Paz, e vários companheiros, estavam a explorar a Cordilheira dos Andes quando encontraram um pequeno vale, sem outros animais ou humanos. Pérez reparou que o vale tinha o que parecia ser uma fonte natural, rodeada por dois picos de rocha e neve prateada. Pérez e os outros aventuraram-se então mais para dentro do vale. "Quando chegámos ao topo de um dos picos, a água parecia azul, com ...