专栏首页AI科技评论今日 Paper | TRANSFORMER结构;图像到图像翻译;缺失标注目标检测解决;GAN水下图像颜色校正等

今日 Paper | TRANSFORMER结构;图像到图像翻译;缺失标注目标检测解决;GAN水下图像颜色校正等

目录

REFORMER:一个高效的TRANSFORMER结构

具有文本指导的图像到图像的翻译

解决背景重校准损失下的缺失标注目标检测问题

MLFcGAN:基于多级特征融合的条件GAN水下图像颜色校正

基于跨模态自我注意网络学习的视频问题生成

REFORMER:一个高效的TRANSFORMER结构

论文名称:REFORMER: THE EFFICIENT TRANSFORMER

作者:Nikita Kitaev / Lukasz Kaiser / Anselm Levskaya

发表时间:2019/9/26

论文链接:https://openreview.net/attachment?id=rkgNKkHtvB&name=original_pdf

推荐原因

核心问题:自从BERT取得了巨大的效果的时候,transform就成为了大多数nlp任务的标配,但是它存在一些问题,比如训练速度慢,占用内容大,还有无法处理长序列,本论文就是解决这些问题。

创新点:该论文提出了一种REFORMER结构,它的核心有以下几点:首先提出了可逆层,在该层中只存储单层激活值的一份拷贝,然后它把FF层里的激活值进行切分 ,最后它使用局部敏感哈希(LSH)注意力代替传统多头注意力

研究意义:这个新模型不仅训练速度快,而且占用内存小,还可以解决序列过长的问题。

具有文本指导的图像到图像的翻译

论文名称:Image-to-Image Translation with Text Guidance

作者:Li Bowen /Qi Xiaojuan /Torr Philip H. S. /Lukasiewicz Thomas

发表时间:2020/2/12

论文链接:https://arxiv.org/abs/2002.05235v1

推荐原因

这篇论文提出了一个新的图像到图像迁移方法,通过生成对抗网络将可控因素(即自然语言描述)嵌入到图像到图像的迁移中,从而使文字描述可以确定合成图像的视觉属性。这个新方法由4个关键组成部分组成:1、实施词性标注以过滤掉给定描述中的非语义词;2、采用仿射组合模块来有效融合不同形式的文本和图像特征;3、一种新的精细多级架构,以增强判别器的判别能力和生成器的纠正能力;4、一种新的结构损失,进一步提升了判别器的性能,以更好地区分真实图像和合成图像。COCO数据集上的实验表明了这篇论文提出的方法在视觉真实性和语义一致性方面均具有出色的性能表现。

解决背景重校准损失下的缺失标注目标检测问题

论文名称:Solving Missing-Annotation Object Detection with Background Recalibration Loss

作者:Zhang Han /Chen Fangyi /Shen Zhiqiang /Hao Qiqi /Zhu Chenchen /Savvides Marios

发表时间:2020/2/12

论文链接:https://arxiv.org/abs/2002.05274v1

推荐原因

这篇论文研究了一种新的且具有挑战性的目标检测场景:数据集中大多数真实对象或实例未被标注,因此这些未被标注的区域在训练过程中被视为背景。现有方法基于Faster RCNN,使用软采样与正实例的重叠来对RoI的梯度进行加权。这篇论文提出了一个新的名为背景重校准损失的解决方案,可以根据预定义的IoU阈值和输入图像来自动重新校准损失信号。这篇论文还进行了几项重大的修改,以适应缺失标注的情况。PASCAL VOC和MS COCO数据集上的实验表明这篇论文所提出的方法在很大程度上优于现有方法。

MLFcGAN:基于多级特征融合的条件GAN水下图像颜色校正

论文名称:MLFcGAN: Multi-level Feature Fusion based Conditional GAN for Underwater Image Color Correction

作者:Liu Xiaodong /Gao Zhi /Chen Ben M.

发表时间:2020/2/13

论文链接:https://arxiv.org/abs/2002.05333

推荐原因

这篇论文考虑的是水下图像的色彩修正问题。

这篇论文基于生成对抗网络,提出了一个深度多尺度特征融合网络,首先抽取多尺度特征,然后在每个尺度用全局特征对局部特征进行了增强。在色彩修正和细节保留两个任务上,这篇论文所提方法取得领先优势,在质量、呈现效果、方法新颖上相比当前最佳模型更加优越。

基于跨模态自我注意网络学习的视频问题生成

论文名称:Video Question Generation via Cross-Modal Self-Attention Networks Learning

作者:Wang Yu-Siang /Su Hung-Ting /Chang Chen-Hsi /Liu Zhe-Yu /Hsu Winston

发表时间:2019/7/5

论文链接:https://arxiv.org/abs/1907.03049

推荐原因

这篇论文要解决的是视频问答的问题。

对视频问答任务而言,深度学习模型严重依赖海量数据,而这类数据的标注成本很高。这篇论文提出了一个新任务,可以自动根据视频片段中的视频帧序列和相应的字幕生成问题,从而减少了巨大的标注成本。学习如何对视频内容进行提问需要模型理解场景中丰富的语义以及视觉和语言之间的相互作用。为了解决这个问题,这篇论文提出了一种新的跨模式自注意力网络,以聚合视频帧和字幕的各种特征。通过实验证明了所提出的方法相对于基准方法可以有85%的提升。

论文作者团队招募

为了更好地服务广大 AI 青年,AI 研习社正式推出全新「论文」版块,希望以论文作为聚合 AI 学生青年的「兴趣点」,通过论文整理推荐、点评解读、代码复现。致力成为国内外前沿研究成果学习讨论和发表的聚集地,也让优秀科研得到更为广泛的传播和认可。

我们希望热爱学术的你,可以加入我们的论文作者团队。

加入论文作者团队你可以获得

1.署着你名字的文章,将你打造成最耀眼的学术明星

2.丰厚的稿酬

3.AI 名企内推、大会门票福利、独家周边纪念品等等等。

加入论文作者团队你需要:

1.将你喜欢的论文推荐给广大的研习社社友

2.撰写论文解读

如果你已经准备好加入 AI 研习社的论文兼职作者团队,可以添加运营小姐姐的微信,备注“论文兼职作者”

本文分享自微信公众号 - AI科技评论(aitechtalk),作者:AI研习社

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2020-02-24

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 今日 Paper | 新闻推荐系统;多路编码;知识增强型预训练模型等

    论文名称:Few-shot Learning with Multi-scale Self-supervision

    AI科技评论
  • 学界丨这届机器学习论文评比,搞怪无厘头我只服 Reddit

    你知道吗?Reddit 上的 Machine Learning 小组上目前已经聚集了 85,613 位关注者了,而在 2016 年底的时候,@Mandratha...

    AI科技评论
  • 读论文的正确姿势是什么?

    但是有没有发现当你费劲巴拉的读到最后,发现所读的论文并不是你想要的。显然,这种不错过每一张表格,不错过每一个数字和每一个公式的“害怕错过”式阅读法并不是最有效的...

    AI科技评论
  • 【重温经典】MIT人工智能实验室: 如何做研究?丨附下载

    并没有什么神丹妙药可以保证在研究中取得成功,本文只是列举了一些可能会有所帮助的非正式意见。

    数据猿
  • 经典收藏!MIT人工智能实验室:如何做研究?

    导读:本文来自于MIT的人工智能实验室,创作于1988。虽然已有30多年,但本文作为新进硕士博士研究生的参考,绝对精辟,奉为经典。尤其当下做AI更需要重温。中文...

    华章科技
  • 【收藏】2万字超长干货,如何做研究?

    https://dspace.mit.edu/bitstream/handle/1721.1/41487/AI_WP_316.pdf

    yuquanle
  • 学界丨这届机器学习论文评比,搞怪无厘头我只服 Reddit

    你知道吗?Reddit 上的 Machine Learning 小组上目前已经聚集了 85,613 位关注者了,而在 2016 年底的时候,@Mandratha...

    AI科技评论
  • 【经典】MIT人工智能实验室: 如何做研究?

    【导读】本文来自于MIT的人工智能实验室,创作于1988,虽然有30多年,但作为新进硕士博士研究生的参考,写的绝对精辟,奉为经典。中文译本由北京师范大学信息学院...

    zenRRan
  • NeurIPS 2019大奖公布!Jeff Dean推荐攻略:你该如何参加13000人的NeurIPS大会?

    在论文方面,今年大会投稿数量也创下了历史新高,一度使 NeurIPS 服务器宕机。最终,共提交6743 篇有效论文,接收 1428 篇,接受率为 21.17%。

    新智元
  • ICML2018见闻 | 迁移学习、多任务学习领域的进展

    【导读】如今 ICML(International Conference on Machine Learning,国际机器学习大会)已经成为有巨大影响力的会议,...

    AI科技大本营

扫码关注云+社区

领取腾讯云代金券