Przetwarzanie języka naturalnego z wykorzystaniem transformerów

Rozdział 5. Generowanie tekstu

Jedną z najbardziej niesamowitych cech modeli językowych opartych na transformerach jest ich zdolność do generowania tekstu, który jest niemal nieodróżnialny od tekstu napisanego przez człowieka. Słynnym przykładem jest model GPT-2 firmy OpenAI, który po otrzymaniu podpowiedzi[1]:

In a shocking finding, scientist discovered a herd of unicorns living in a remote, previously unexplored valley, in the Andes Mountains. Even more surprising to the researchers was the fact that the unicorns spoke perfect English.

Naukowiec dokonał szokującego odkrycia, znajdując stado jednorożców zamieszkujące odległą, wcześniej niezbadaną dolinę w Andach. Badacze byli jeszcze bardziej zaskoczeni tym, że jednorożce doskonale ...