
16!
Трансформеры:
улучшение обработки естественного языка
с помощью механизмов внимания
В предыдущей главе вы узнали о рекуррентных нейронных сетях (RNN) и их примене-
нии для обработки естественного языка (Natural Language Processing, NLP) в рамках
проекта анализа эмоциональной окраски текста. Однако недавно появилась новая архи-
тектура, которая, как было показано, ощутимо превосходит основанные на RNN моде-
ли преобразования одних последовательностей в другие (seq2seq) в некоторых задачах
NLP. Это так называемая архитектура Transformer. Для краткости дальше мы будем
называть различные модели на основе этой архитектуры