Skip to Main Content
Машинное обучение с PyTorch и Scikit-Learn
book

Машинное обучение с PyTorch и Scikit-Learn

by Sebastian Raschka, Yuxi (Hayden) Liu, Vahid Mirjalili
May 2024
Beginner to intermediate content levelBeginner to intermediate
688 pages
26h
Russian
Foliant
Content preview from Машинное обучение с PyTorch и Scikit-Learn
Трансформеры: улучшение обработки естественного языка с помощью механизмов внимания
533
Разделение данных между несколькими головами внимания
На практике вместо того, чтобы иметь отдельную матрицу для каждой головы вн и-
мания, различные реализации трансформера используют единую матрицу для всех
голов внимания. Затем головы внимания организуются в логически обособленные
области в такой матрице, доступ к которым можно получить с помощью булевых
масок. Это позволяет более эффективно реализовывать многоголовое внимание,
потому что вместо нескольких матричных умножений можно реализовать одно
матричное умножение. Однако для простоты ...
Become an O’Reilly member and get unlimited access to this title plus top books and audiobooks from O’Reilly and nearly 200 top publishers, thousands of courses curated by job role, 150+ live events each month,
and much more.
Start your free trial

You might also like

CompTIA Network+ -- Vorbereitung auf die Prüfung N10-009

CompTIA Network+ -- Vorbereitung auf die Prüfung N10-009

Markus Kammermann

Publisher Resources

ISBN: 9786011100342