Skip to Main Content
Машинное обучение с PyTorch и Scikit-Learn
book

Машинное обучение с PyTorch и Scikit-Learn

by Sebastian Raschka, Yuxi (Hayden) Liu, Vahid Mirjalili
May 2024
Beginner to intermediate content levelBeginner to intermediate
688 pages
26h
Russian
Foliant
Content preview from Машинное обучение с PyTorch и Scikit-Learn
Трансформеры: улучшение обработки естественного языка с помощью механизмов внимания
523
Если конкретизировать сказанное, то вес внимания вычисляется путем нормализации
оценок выравнивания:
.
Обратите внимание, что это уравнение похоже на функцию
softmax
, которую мы обсуж-
дали в разд. 12.5.2. Следовательно, веса внимания !
i1
... !
iT
в сумме дают 1.
Теперь, подводя итог, мы можем разделить модель RNN, основанную на внимании, на
три части: первая часть вычисляет двунаправленные аннотации ввода, втораясосто-
ит из рекуррентного блока, который очень похож на базовую модель RNN, за исключе-
нием того, что он использует векторы контекста ...
Become an O’Reilly member and get unlimited access to this title plus top books and audiobooks from O’Reilly and nearly 200 top publishers, thousands of courses curated by job role, 150+ live events each month,
and much more.
Start your free trial

You might also like

CompTIA Network+ -- Vorbereitung auf die Prüfung N10-009

CompTIA Network+ -- Vorbereitung auf die Prüfung N10-009

Markus Kammermann

Publisher Resources

ISBN: 9786011100342