Rozdział 11. Przyszłe kierunki
W książce tej zbadaliśmy możliwości transformerów w szerokiej gamie zadań NLP. W ostatnim rozdziale zmienimy perspektywę i przyjrzymy się niektórym bieżącym problemom z tymi modelami oraz badaniom, które próbują im zaradzić. W pierwszej części omówimy skalowanie transformerów zarówno pod względem rozmiaru modelu, jak i korpusu. Następnie przejdziemy do różnych proponowanych technik, które mają zwiększyć efektywność mechanizmu samouwagi. Na koniec zbadamy nową, ekscytującą dziedzinę transformerów multimodalnych, które mogą modelować dane wejściowe z wielu domen, takich jak tekst, obrazy i dźwięk.
Skalowanie transformerów
W 2019 r. badacz Richard Sutton (https://oreil.ly/119br) napisał prowokacyjny esej zatytułowany ...
Get Przetwarzanie języka naturalnego z wykorzystaniem transformerów now with the O’Reilly learning platform.
O’Reilly members experience books, live events, courses curated by job role, and more from O’Reilly and nearly 200 top publishers.
