
548 Глава 16
ке BERT предусмотрено дополнительное встраивание сегмента, указывающее, к како-
му сегменту принадлежит тот или иной токен. Это означает, что каждое представление
токена содержит три компонента, как показано на рис. 16.13.
Ввод
Встраивания
токенов
Встраивания
сегментов
Встраивания
позиций
Рис. 16.13. Подготовка ввода для кодировщика BERT
Зачем нам нужна в BERT эта дополнительная информация о сегменте? Потребность
в информации о сегменте возникла из-за специальной задачи предварительного обуче-
ния BERT, называемой прогнозированием следующего предложения (next-sentence
prediction). В этой предварительной обучающей