解决 NLP 任务的 Transformer 为什么可以应用于计算机视觉？

1A9wq7NjN

<div id="container" data-v-1d7a5742="" data-element="root" contentScore="5047">几乎所有的自然语言处理任务，从语言建模和masked词预测到翻译和问答，在2017年Transformer架构首次亮相后都经历了革命性的变化。Transformer在计算机视觉任务中也表现出色，只用了2-3年的时间。在这篇文章中，我们探索了两种基础架构，它们使Transformer能够闯入计算机视觉的世界。

一、视觉Transformer


1. 主要思想

视觉Transformer的意图是将标准变换器架构泛化，以处理和从图像输入中学习。关于架构的一个主要思想是作者足够透明地强调了：

“受到NLP中Transformer扩展成功的启发，我们尝试直接将标准Transformer应用于图像，尽可能少地进行修改。”

2. 操作

可以非常字面地理解“尽可能少的修改”，因为他们几乎完全没有修改。他们实际修改的是输入结构：

• 在NLP中，Transformer编码器采用代表输入句子/段落的独热向量序列（或等价的标记索引），并返回可用于进一步任务（例如，分类）的上下文embedding向量序列。
  
• 为了泛化到计算机视觉，视觉Transformer采用代表输入图像的patch向量序列，并返回可用于进一步任务（例如，分类）的上下文embedding向量序列。
  

特别是，假设输入图像的维度为(n,n,3)，要将其作为输入传递给Transformer，视觉Transformer的操作如下：

• 将其划分为k²个patch，k为某个值（例如，k=3），如图中所示。
  
• 现在每个patch将为(n/k,n/k,3)，下一步是将每个patch展平为向量。
  

patch向量将是维度为3*(n/k)(n/k)的向量。例如，如果图像是(900,900,3)，我们使用k=3，那么patch向量将具有维度300300*3，代表展平patch中的像素值。在论文中，作者使用k=16。因此，论文的名称为“一幅图像值16x16个词：大规模图像识别的Transformer”，而不是提供代表单词的独热向量，他们代表代表图像patch的像素向量。
其余的操作与原始Transformer编码器保持不变：

• 这些patch向量通过一个可训练的embedding层传递
  
• 向每个向量添加位置embedding，以保持图像中的空间信息
  
• 输出是num_patches编码器表示（每个补丁一个），可用于对补丁或图像级别进行分类
  
• 更常见的（如在论文中），在表示前添加CLS标记，相应的用于对整个图像进行预测（类似于BERT）
  

Transformer解码器呢？
记住它就像Transformer编码器；不同之处在于它使用masked自注意而不是自注意（但相同的输入签名保持不变）。无论如何，你应该很少使用仅解码器的Transformer架构，因为简单地预测下一个patch可能不是非常感兴趣的任务。
3. 混合架构

作者还提到，可以以CNN特征图而不是图像本身作为输入来形成混合架构（CNN将输出传递给视觉Transformer）。在这种情况下，我们将输入视为通用的(n,n,p)特征图，patch向量将具有维度(n/k)*(n/k)*p。
4. 结构的丧失

你可能会想到这种架构不应该这么好，因为它将图像视为线性结构，而它并不是。作者试图通过提到来描绘这是有意为之：

The two-dimensional neighborhood structure is used very sparingly…position embeddings at initialization time carry no information about the 2D positions of the patches and all spatial relations between the patches have to be learned from scratch

我们将看到Transformer能够学习这一点，这在其实验中的好表现中得到了证明，更重要的是，下一篇论文中的架构。
5. 结果

结果的主要结论是，视觉Transformer在小数据集上往往不能超越基于CNN的模型，但在大数据集上接近或超越基于CNN的模型，无论如何都需要显著减少计算量：


在这里我们可以看到，对于JFT-300M数据集（拥有3亿张图像），在该数据集上预训练的ViT模型超越了基于ResNet的基线，同时大大减少了预训练所需的计算资源。可以看到，他们使用的较大的视觉Transformer（ViT-Huge，有632M参数和k=16）使用了ResNet模型所用计算量的约25%，并且仍然超越了它。性能甚至在使用仅