Rozdział 3. Anatomia transformera
W rozdziale 2. dowiedziałeś się, jak dostraja się i ocenia transformery. Zobaczmy teraz, jak działają one „pod maską”. W tym rozdziale zbadamy główne elementy konstrukcyjne modeli transformera i pokażemy, jak implementować je za pomocą biblioteki PyTorch. Wyjaśnimy też, jak zrobić to samo w TensorFlow. Najpierw skupimy się na zbudowaniu mechanizmu atencji, a następnie dodamy różne elementy niezbędne do pracy kodera. Przyjrzymy się też krótko różnicom architektonicznym między modułami kodera i dekodera. Pod koniec tego rozdziału będziesz umiał samodzielnie zaimplementować prosty model transformera!
Choć głębokie zrozumienie architektury transformera nie jest zasadniczo konieczne do używania biblioteki Transformers ...
Get Przetwarzanie języka naturalnego z wykorzystaniem transformerów now with the O’Reilly learning platform.
O’Reilly members experience books, live events, courses curated by job role, and more from O’Reilly and nearly 200 top publishers.
