专栏首页大数据文摘2019年过去一小半了,这些深度学习研究值得一看!

2019年过去一小半了,这些深度学习研究值得一看!

大数据文摘出品

作者:李雷、张弛、蒋宝尚

转眼间2019年已经过去了快一半,这对于日新月异的深度学习技术已经算是很长一段发展时间。Open Data Science在Medium上整理了2019年到现在为止深度学习技术发布的精华成果,选择的论文都是在GitHub平台上有相关代码的论文。文摘菌为大家做了编译工作,希望大家紧跟时代的步伐~

用PyTorch Geometric实现快速图表示学习

这篇论文介绍了PyTorch Geometric,这是一个基于PyTorch(深度学习框架)的非结构化数据(如图形,点云和流形)深度学习库。除了通用图形数据结构和处理方法之外,它还包含关系学习和三维数据处理领域的各种最新方法。PyTorch Geometric通过利用稀疏GPU加速,提供专用CUDA内核以及为不同大小的输入样本引入高效小批量处理,从而实现了高数据吞吐量。

GitHub链接:

https://github.com/rusty1s/pytorch_geometric

蒙版得分R-CNN(Mask Scoring R-CNN)

在大多数计算机视觉的实例分割任务中,通常将实例分类的置信度作为实例分割框架的蒙版(mask)质量分数,这可能会出现偏差。这篇论文研究了这一问题,并提出了蒙版得分R-CNN(Mask Scoring R-CNN ),即用一个模块来学习预测实例蒙版的质量。蒙版评分策略校准了蒙版质量和分类评分之间的差异,并在对COCO数据集的平均准确度(AP)评估中优先考虑更为准确的蒙版预测来改善实例分割效果。

GitHub链接:

https://github.com/zjhuang22/maskscoring_rcnn

如何用更少标签生成高保真图像

深度生成模型是现代机器学习的基础。近期关于条件生成对抗网络(GAN)的研究表明,自然图像的复杂高维分布是可以学习的。虽然最新的模型能够生成高分辨率、高保真、多样化的自然图像,但它们往往依赖于大量标记数据。本论文展示了如何利用目前关于自主和半监督学习的研究,在无监督及条件设定下实现最高水平的ImageNet图像合成。

GitHub链接:

https://github.com/google/compare_gan

GCNv2:实时SLAM的高效响应预测

这篇论文介绍了GCNv2,一个用于生成关键点和描述符的深度学习网络。GCNv2建立在图卷积神经网络GCN之上,GCN是用于训练三维投影几何的网络。GCNv2使用二进制描述符向量作为ORB(Oriented FAST and Rotated BRIEF)特征,因此它可以轻松替换ORB-SLAM(一种基于ORB特征的三维即时定位与地图构建算法)等系统中的ORB。

GitHub链接:

https://github.com/jiexiong2016/GCNv2_SLAM

ALiPy:Python的主动学习

监督式的机器学习方法通常需要大量标记样本用于模型训练。但是,在许多实际应用中存在大量未标记的数据,已标记数据其实并不多,并且数据打标的成本很高。主动学习(AL)通过迭代地选择最有价值的数据样本并从标注器查询其标签,从而降低标注成本。这篇论文介绍了用于主动学习的Python 工具库 ALiPy。

GitHub链接:

https://github.com/NUAA-AL/ALiPy

DeepFashion2:用于服装图像的检测,姿势判断,实例分割和重新识别的多功能基准数据集

基准数据集DeepFashion提升了人们对服装时尚的理解,它具有丰富的标签,包括服装类别,标记和卖家秀-买家秀图像。然而,DeepFashion也有不可忽视的问题,例如每副图像只有单个服装类别,标记稀疏(仅4~8个),并且没有像素蒙版,这些都与现实场景有着显著差距。本论文介绍的DeepFashion2解决了上述问题。它是一个多功能数据集,包含四个功能,服装检测,姿势判断,实例分割和识别。

GitHub链接:

https://github.com/switchablenorms/DeepFashion2

星际争霸多智能体挑战赛

在过去几年中,深层多智能体强化学习(RL)一直是一个非常活跃的研究领域。这一领域中有非常具有挑战性的问题,就是局部观察、局部合作,和多智能体学习,在这种学习中各智能体必须学会基于自己的观察来与他人协调合作。这一研究领域非常吸引人,因为其中拥有大量现实世界相关的场景,并且这些问题比一般汇总问题更适合算法评估。诸如ALE(街机游戏模式学习环境)和MuJoCo(物理模拟引擎)之类的标准化环境使单智能体强化学习突破了小型领域,如网格世界。但是,合作式多智能体强化学习却缺乏相应的基准环境。因此,该领域的大多数论文都针对一次性小型问题,难以衡量实际效用。这篇论文提出的星际争霸多智能体挑战赛(SMAC)可以作为填补这一空白的基准问题。

GitHub链接:

https://github.com/oxwhirl/smac

Dropout - 随机δ规则特例:更快,更准确的深度学习

多层神经网络在文本、语音和图像处理等多种基准任务中表现出色。在分层模型中,非线性参数估计受到过拟合和误差的影响。这些估计及相关问题(局部最小值,共线性,特征发现等)的其中一种解决方法就是Dropout。Dropout算法在每次更新之前会根据具有先验概率p的Bernoulli随机变量暂时丢弃某些隐藏单元,从而对平均更新的网络产生随机“冲击”。本论文表明Dropout是一个称为随机δ规则(SDR)的更为通用模型的特例,这个模型最早于1990年发布。

GitHub链接:

https://github.com/noahfl/sdr-densenet-pytorch

Lingvo:用于序列到序列建模的模块化可扩展框架

Lingvo是一个Tensorflow框架,为协作深度学习研究提供完整的解决方案,侧重于序列到序列模型。Lingvo模型由模块化构件组成,灵活,易扩展,实验配置集中且高度可定制。它内置支持分布式训练和量化推理,附带大量关于实际应用,辅助函数和最新研究理念的实现代码。在过去两年中,Lingvo已被数十名研究人员使用,相关论文有20多篇。这篇论文概述了Lingvo的底层设计,并介绍了框架各个部分,同时还提供了高级功能示例,以展示框架能力。

GitHub链接:

https://github.com/tensorflow/lingvo

学习率动态边界的自适应梯度算法

自适应优化算法,如AdaGrad,RMSProp和Adam可以用来实现快速训练过程,且具有学习率的元素缩放项。尽管很流行,但与随机梯度下降算法SGD相比,它们的泛化能力较差,甚至会由于不稳定或极端的学习率而未能收敛。这篇论文证明极端学习率会导致算法表现不佳,并给出了Adam和AMSGrad算法的新变体,分别称为AdaBound和AMSBound,引入学习率的动态边界,实现从自适应方法到SGD的逐步平滑过渡,并给出收敛的理论证明。作者对各种流行任务和模型做了进一步的实验。实验结果表明,新变体可以消除自适应方法与SGD之间的泛化差距,同时在训练早期保持较高的学习速度。

GitHub链接:

https://github.com/Luolc/AdaBound

相关报道:

https://medium.com/@ODSC/best-deep-learning-research-of-2019-so-far-7bea0ed22e38

实习/全职编辑记者招聘ing

加入我们,亲身体验一家专业科技媒体采写的每个细节,在最有前景的行业,和一群遍布全球最优秀的人一起成长。坐标北京·清华东门,在大数据文摘主页对话页回复“招聘”了解详情。简历请直接发送至zz@bigdatadigest.cn

志愿者介绍

后台回复“志愿者”加入我们

点「在看」的人都变好看了哦

本文分享自微信公众号 - 大数据文摘(BigDataDigest)

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2019-05-23

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • Github上的10大机器学习项目

    大数据文摘
  • Github标星超7k!从零开始,最简明扼要的数据科学学习路径(附高效免费小工具)

    试图入门一个新话题时,多数人会感到不知所措?这时候,一份明确的学习路径可以帮你去除这一焦虑。

    大数据文摘
  • 从R-CNN到YOLO,一文带你了解目标检测模型(附论文下载)

    大数据文摘
  • 2019年过去一小半了,这些深度学习研究值得一看!

    转眼间2019年已经过去了快一半,这对于日新月异的深度学习技术已经算是很长一段发展时间。Open Data Science在Medium上整理了2019年到现在...

    CDA数据分析师
  • 有趣实用,盘点 GitHub 上标星最多的 5 个机器学习项目!

    机器学习领域正在飞速发展。GitHub 是一张举世瞩目的白板,高质量的代码通常被发布在这张充满智慧的无限大白板上。

    GitHubDaily
  • 2019年过去一小半了,这些深度学习研究值得一看!

    转眼间2019年已经过去了快一半,这对于日新月异的深度学习技术已经算是很长一段发展时间。Open Data Science在Medium上整理了2019年到现在...

    用户2769421
  • 除了 Python ,这些语言写的机器学习项目也很牛

    Python 由于本身的易用优势和强大的工具库储备,成为了在人工智能及其它相关科学领域中最常用的语言之一。尤其是在机器学习,已然是各大项目最偏爱的语言。 其实除...

    AI科技大本营
  • 近期 github 机器学习热门项目top5

    【磐创AI导读】:Github是全球最大的开源代码社区,本文为大家总结了2108年11月最热门的机器学习项目top5。欢迎大家点击上方蓝字关注我们的公众号:磐创...

    磐创AI
  • Github上获星的最高ML项目

    机器学习作为一个领域,正在以极快的速度发展。Github是全世界都在关注的白板。高质量的代码定期发布在无限的智慧板上。

    代码医生工作室
  • 不会这几个库,都不敢说我会Python爬虫

    很多朋友不知道Python爬虫怎么入门,怎么学习,到底要学习哪些内容。今天我来给大家说说学习爬虫,我们必须掌握的一些第三方库。

    小小詹同学

扫码关注云+社区

领取腾讯云代金券