问计算机视觉变压器: ViT没有解码器吗？

EN

这取决于您要执行的任务。这里的目标是找到一种方法，将您的图像表示为表示图像每个补丁的嵌入向量序列，一旦您获得了输入图像的编码表示，您可以

• 执行图像分类，添加分类头(如图中所示的几个线性层)。下面是一个用ViT在拥抱面上进行图像分类的示例
• 生成新的图像或文本序列(例如添加一个GPT解码器，该解码器接受隐藏状态序列，并输出一系列标记用于图像标题、视觉问题回答……)。下面是拥抱面上的图像标题示例。VQA非常类似，只需要将图像和问题作为文本传递给解码器。

我提示ChatGPT并收到了一个很好的响应，包括一个指向https://ai.googleblog.com/2020/12/transformers-for-image-recognition-at.html的链接。

迅速：

请链接到一些实现示例和教程，包括拥抱脸，因为题为图像值16X16字的论文:变形金刚用于图像识别的比例尺，以便我可以了解更多。

响应：

以下是论文“图像值16X16字:用于图像识别的变形金刚”的一些示例实现和教程：

1. ViT模型在PyTorch：https://github.com/huggingface/transformers/tree/master/examples/vision中的正式实现
2. TensorFlow对ViT模型的正式实现：https://github.com/google-research/vision_变压器
3. 关于如何在ViT：https://keras.io/examples/vision/image_分类_使用_视觉_变压器/中使用TensorFlow模型的教程
4. 使用ViT模型对PyTorch：https://towardsdatascience.com/transformers-for-image-recognition-61527a2fed19中的图像进行分类的教程
5. 一篇讨论这篇论文及其含义的博客文章：https://ai.googleblog.com/2020/12/transformers-for-image-recognition-at.html
6. 一段YouTube视频解释了论文及其关键思想：https://www.youtube.com/watch?v=TrdevFK_am4

这是我的第二个提示，因为我知道拥抱的脸在第一个提示的反应中丢失了：

1. 作者正式实施：https://github.com/google-research/vision_变压器
2. Ross的PyTorch实现：https://github.com/rwightman/pytorch-image-models/tree/master/timm/models/vision_变压器
3. 用Piotr美元实现TensorFlow：https://github.com/pdollar/coco/tree/master/PythonAPI/pycocotools
4. Ali Salloum的Keras实现：https://github.com/Alsaoudi-Salloum/ViT-Keras
5. 瑞安·里斯的Jax实现：https://github.com/google/flax/tree/main/examples/vision_变压器
6. 由TensorFlow用户Vignesh Murali：https://github.com/Holmesalbatross/ea-myelonet/blob/main/eamodel.py添加高效注意模块的GitHub实现。

在Google博客中，您可以看到一个演示模型简单性的动画：

动画