Deep learning i modelowanie generatywne

Rozdział 6. Pisanie

W tym rozdziale omówię metody budowy modeli generatywnych dla danych tekstowych. Istnieje kilka kluczowych różnic między danymi tekstowymi a obrazami. Z tego powodu wiele metod, które działają dobrze na danych w postaci obrazów, nie da się łatwo zastosować do danych tekstowych. W szczególności:

• Dane tekstowe składają się z odrębnych fragmentów (znaków bądź słów), natomiast piksele w obrazie są punktami w ciągłym widmie barw. Z łatwością możemy zmodyfikować zielony piksel tak, by był bardziej niebieski, ale — dla przykładu — nie jest oczywiste, w jaki sposób przekształcić słowo „kot”, by miało znaczenie bardziej zbliżone do słowa „pies”. To oznacza, że do danych obrazu możemy łatwo zastosować wsteczną propagację, ponieważ ...