
528 Глава 16
Рис. 16.5. Вычисление контекстно-зависимого вектора встраивания
второго элемента последовательности
Термины «запрос», «ключ» и «значение»
Термины «запрос», «ключ» и «значение», использованные в упомянутой ранее ори-
гинальной статье о трансформерах, позаимствованы из систем поиска информации
и баз данных. Например, если мы вводим запрос, он сопоставляется с ключами, для
которых извлекаются определенные значения.
Здесь и q
(i)
, и k
(i)
являются векторами размера d
k
. Следовательно, матрицы проекций U
q
и U
k
имеют форму d
k
×d, а U
v
имеет форму d
v
×d. (Здесь d — это размерность каждого
вектора слов x
(i)
.) Для простоты мы можем