基于scikit-learn和PyTorch的实践机器学习

第 16 章. 视觉与多模态变换器

本作品已使用人工智能进行翻译。欢迎您提供反馈和意见：[e-mail]

在上一章 中，我们从零开始实现了一个变换器，并将其转化为一个翻译系统，然后我们又探索了用于 NLU 的纯编码器模型和用于 NLG 的纯解码器模型，我们甚至还制作了一个小聊天机器人--这真是一段不短的旅程！然而，关于变换器，我们还有很多话要说。特别是，到目前为止，我们只处理了文本，但变换器实际上在处理各种输入方面都非常出色。在本章中，我们将介绍能够处理图像的视觉变换器（ViTs），随后 ，多模态变换器能够处理多种模态，包括文本、图像、音频、视频、机器人传感器和执行器，以及任何类型的数据。

在本章的第一部分，我们将讨论一些最有影响力的纯视觉变换器：

DETR（检测变换器）

用于物体检测的早期编码器-解码器转换器。

最初的 ViT（视觉变换器）

这种仅具有地标意义的编码器变换器将图像片段视为单词标记，如果在大型数据集上进行训练，就能达到最先进的水平。

DeiT（高效数据图像变换器）

使用蒸馏法进行大规模训练的数据效率更高的 ViT。

PVT（金字塔视觉变换器）

分层模型，可生成用于语义分割和其他密集预测任务的多尺度特征图。

Swin变换器（移位Windows变换器）

速度更快的分层模型。

DINO（无标签自除法）

这为视觉表征学习引入了一种新颖的自监督技术。

在本章的第二部分，我们将深入探讨多模态变换器：

视频转换器

经过训练的 BERT 模型可同时处理文本和视频标记。

ViLBERT（Visio-Linguistic BERT）

图像加文本的双编码器模型，引入了共同注意（即双向交叉注意）。

CLIP（对比语言-图像预训练）

这是另一个使用对比预训练方法训练的图像加文本双编码器模型。

DALL-E（艺术家萨尔瓦多-达利和皮克斯动画片角色 Wall-E 的双关名字）

一个能够根据文本提示生成图像的模型。

感知器

利用交叉注意技巧，它能有效地将任何高分辨率模态压缩成一个短序列。

感知器 IO（输入/输出）

使用类似的交叉注意技巧，为感知器添加灵活的输出机制。

火烈鸟

它没有从零开始，而是重新使用了两个大型预训练模型--一个用于视觉，一个用于语言（均已冻结）--并通过一个名为 "重采样器 "的 Perceiver 风格适配器将它们连接起来。这种架构实现了开放式视觉对话。

BLIP-2（语言图像预训练 Bootstrap）

这是另一种开放式视觉对话模型，它重复使用了两个大型预训练模型，使用轻量级查询转换器（Q-Former）将它们连接起来，并使用具有多种训练目标的强大的两阶段训练方法。

开灯吧，变换器即将睁开眼睛。

视觉转换器

视觉变换器 并不是凭空出现的：在视觉变换器发明之前，已经出现了具有视觉注意力的 RNN ，以及混合 CNN 变换器模型。在我们深入研究一些最具影响力的视觉变换器之前，让我们先来看看这些视觉变换器的祖先。

具有视觉注意力的 RNN

注意力机制 在 NLP 之外的首批应用之一是利用视觉注意力生成图像标题 。¹在这里，卷积神经网络 首先处理图像并输出一些特征图，然后由配备注意力机制的解码器 RNN 生成标题，每次一个标记。

解码器在每个解码步骤中都会使用注意力层，以便将注意力集中在图像的正确部分。例如，在图 16-1 中，模型生成了标题 "一个女人正在公园里扔飞盘"，您可以看到当解码器准备输出 "飞盘 "一词时，它的注意力集中在输入图像的哪个部分：很明显，它的大部分注意力都集中在飞盘上。 ...