前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >【Transformer】开源 | 牛津大学&字节跳动提出TransMix,将基于Mixup的方法推向增强ViTs

【Transformer】开源 | 牛津大学&字节跳动提出TransMix,将基于Mixup的方法推向增强ViTs

作者头像
CNNer
发布2021-12-10 11:21:40
6470
发布2021-12-10 11:21:40
举报
文章被收录于专栏:CNNerCNNer

论文地址: http://arxiv.org/pdf/2111.09833v1.pdf

来源: Johns Hopkins University,University of Oxford,字节跳动

论文名称:TransMix: Attend to Mix for Vision Transformers

原文作者:Jie-Neng Chen

内容提要

在训练过程中,基于Mixup的增强对于模型的泛化是有效的,特别是对于视觉Transformers (ViTs),因为它们很容易过拟合。然而,之前的基于Mixup的方法都有一个潜在的先验知识,即目标的线性插值比例应该与输入插值的比例保持一致。这可能会导致一个奇怪的现象,有时由于增强过程中的随机过程,混合图像中没有有效的对象,但在标签空间中仍然有响应。为了弥补输入空间和标签空间之间的差距,我们提出了TransMix,它基于ViTs的注意地图混合标签。如果相应的输入图像被注意图加权得更高,那么标签的置信度就会更大。TransMix非常简单,只需几行代码就可以实现,而无需向基于ViT的模型引入任何额外参数和FLOPs。实验结果表明,该方法在ImageNet分类上可以在尺度上持续改进各种基于ViT的模型。在ImageNet上使用TransMix进行预训练后,基于ViT的模型在语义分割、目标检测和实例分割方面表现出更好的可移植性。TransMix在4个不同的基准测试中也表现得更加健壮。

主要框架及实验结果

声明:文章来自于网络,仅用于学习分享,版权归原作者所有,侵权请加上文微信联系删除。

本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2021-12-07,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 CNNer 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档