Transformer“变形金刚”改变了计算机视觉

Tranformer

芝能智芯出品

Transformer 是 Google 的团队在 2017 年提出的一种 NLP 经典模型，Transformer 模型使用了 Self-Attention 机制，不采用RNN顺序结构，使得模型可以并行化训练，而且能够拥有全局信息。

在过去几年里，Transformers 彻底改变了深度学习模型的本质，给人工智能领域带来了革命性的变化。引入了注意力机制的Transformer允许模型在处理输入序列时权衡不同元素的重要性，与传统的按顺序或分层处理数据的深度学习模型不同，Transformers可以并行捕获元素之间的依赖关系，从而使得更大规模的模型训练成为可能。

●Transformer的结构和应用

虽然最初是为自然语言处理（NLP）设计的，但Transformer开始在许多不同领域得到应用，其中之一就是计算机视觉。

传统上，计算机视觉依赖于卷积神经网络（CNN）作为深度学习架构，但随着数据集的增大和强大的GPU支持，深度学习的崛起改变了这一领域。然而，研究人员开始意识到Transformer也可以用于处理图像数据，成为计算机视觉应用的有希望的选择。

●选择Transformer的原因

在计算机视觉任务中，如图像分类、目标检测和图像分割等，传统上依赖于CNN。然而，Transformer擅长捕获图像中的远程依赖性和全局上下文信息，这对于处理复杂的视觉任务至关重要。与CNN不同，Transformer并行处理所有元素，消除了处理顺序的需求，这加速了训练和推理的时间，使得大规模视觉模型更具可行性。

Transformer的多模态性使得它适用于需要理解和推理视觉和文本信息的任务，并且生成的注意力图提供了关于输入的哪些部分在进行预测时更重要的见解，增加了模型的可解释性。

●Transformer在计算机视觉中的应用

在目标检测任务中，DETR（DEtection TRansformer）等模型表现出色，无需锚框即可处理图像中的可变数量的对象，这是一个重大突破。在语义和实例分割任务中，Swin Transformer和Vision Transformer等模型提供了改进的空间理解和特征提取。此外，基于Transformer的模型，比如DALL-E，可以从文本描述生成高度创意和上下文感知的图像，为内容生成和创意应用带来新机遇。最重要的是，Transformer可以为图像生成描述性标题。

●综合利用Transformer和CNN

虽然Transformer在识别复杂对象方面具有优势，但CNN在推理时间上的性能优势不可忽视。因此，在视觉处理应用中，可以同时利用Transformer和CNN，充分发挥两者的优势，这是一个不断发展的研究领域。Synopsys ARC NPX6 NPU IP是一个示例，它可以处理CNN和Transformer，利用卷积加速器和张量加速器，提供卓越的性能和功效。

●结语

Transformer的崛起标志着计算机视觉领域的重大变革。其独特特性，如注意力机制、并行处理和可扩展性，挑战了CNN的主导地位，为计算机视觉应用带来了令人兴奋的可能性。随着对Transformer模型在视觉任务中的不断完善，我们可以期待更多的突破，这将带来更智能、更强大的视觉系统，并具有更广泛的实际应用。