Skip to Main Content
Машинное обучение с PyTorch и Scikit-Learn
book

Машинное обучение с PyTorch и Scikit-Learn

by Sebastian Raschka, Yuxi (Hayden) Liu, Vahid Mirjalili
May 2024
Beginner to intermediate content levelBeginner to intermediate
688 pages
26h
Russian
Foliant
Content preview from Машинное обучение с PyTorch и Scikit-Learn
528 Глава 16
Рис. 16.5. Вычисление контекстно-зависимого вектора встраивания
второго элемента последовательности
Термины «запрос», «ключ» и «значение»
Термины «запрос», «ключ» и «значение», использованные в упомянутой ранее ори-
гинальной статье о трансформерах, позаимствованы из систем поиска информации
и баз данных. Например, если мы вводим запрос, он сопоставляется с ключами, для
которых извлекаются определенные значения.
Здесь и q
(i)
, и k
(i)
являются векторами размера d
k
. Следовательно, матрицы проекций U
q
и U
k
имеют форму d
k
×d, а U
v
имеет форму d
v
×d. (Здесь d это размерность каждого
вектора слов x
(i)
.) Для простоты мы можем
Become an O’Reilly member and get unlimited access to this title plus top books and audiobooks from O’Reilly and nearly 200 top publishers, thousands of courses curated by job role, 150+ live events each month,
and much more.
Start your free trial

You might also like

CompTIA Network+ -- Vorbereitung auf die Prüfung N10-009

CompTIA Network+ -- Vorbereitung auf die Prüfung N10-009

Markus Kammermann

Publisher Resources

ISBN: 9786011100342