Skip to Main Content
Машинное обучение с PyTorch и Scikit-Learn
book

Машинное обучение с PyTorch и Scikit-Learn

by Sebastian Raschka, Yuxi (Hayden) Liu, Vahid Mirjalili
May 2024
Beginner to intermediate content levelBeginner to intermediate
688 pages
26h
Russian
Foliant
Content preview from Машинное обучение с PyTorch и Scikit-Learn
548 Глава 16
ке BERT предусмотрено дополнительное встраивание сегмента, указывающее, к како-
му сегменту принадлежит тот или иной токен. Это означает, что каждое представление
токена содержит три компонента, как показано на рис. 16.13.
Ввод
Встраивания
токенов
Встраивания
сегментов
Встраивания
позиций
Рис. 16.13. Подготовка ввода для кодировщика BERT
Зачем нам нужна в BERT эта дополнительная информация о сегменте? Потребность
в информации о сегменте возникла из-за специальной задачи предварительного обуче-
ния BERT, называемой прогнозированием следующего предложения (next-sentence
prediction). В этой предварительной обучающей
Become an O’Reilly member and get unlimited access to this title plus top books and audiobooks from O’Reilly and nearly 200 top publishers, thousands of courses curated by job role, 150+ live events each month,
and much more.
Start your free trial

You might also like

CompTIA Network+ -- Vorbereitung auf die Prüfung N10-009

CompTIA Network+ -- Vorbereitung auf die Prüfung N10-009

Markus Kammermann

Publisher Resources

ISBN: 9786011100342