首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    有望替代卷积神经网络?微软最新研究提基于关系网络的视觉建模

    导语:最近两年,自注意力机制、图和关系网络等模型在NLP领域刮起了一阵旋风,基于这些模型的Transformer、BERT、MASS等框架已逐渐成为NLP的主流方法。这些模型在计算机视觉领域是否能同样有用呢?近日,微软亚洲研究院视觉计算组主管研究员胡瀚受邀参加VALSE Webinar,分享了他们最近的一些相关工作。他们的研究以及同期的一些其它工作表明这些模型也能广泛地用于视觉基本元素之间关系的建模,包括物体与物体间、物体与像素间、以及像素与像素间的关系,特别是在建模像素与像素间关系上,既能与卷积操作形成互补,甚至有望能取代卷积操作,实现最基本的图像特征提取。

    04

    NeurIPS 2021 | Spotlight:小样本分子性质预测新方法

    分子性质预测(Molecule Property Prediction)是研究者在进行新药发现研究时经常会遇到的问题。由于新药发现研究中已知药理性质的分子(有标签样本)少,小样本学习(Few-Shot Learning)的方法在分子性质预测问题中有不错的效果。在已有的小样本的分子性质预测研究中,很多工作会选择直接使用小样本学习的经典方法,但是忽视了分子性质预测这个问题的特性,比如分子之间的关系以及同种分子在不同性质上的表现。在这篇工作中,我们提出了新的分子性质预测模型PAR,在获取分子表征的过程中加入self-attention层获取分子性质信息,创新地加入了分子关系学习和参数部分更新的策略,解决了已有工作存在的问题,在多个分子性质预测的数据集中取得了很好的效果。

    03

    Few-shot Learning进展调研

    小样本学习主要研究如何通过少量样本学习识别模型。目前学术界普遍研究的是N-way-K-shot问题,即进行N个类别的识别,每类有K个样本。训练过程以task为单位,会用到两个数据集:Support set S 和 Query set Q 。对于模型训练过程中的每个task(episode),选定M个class,每个class选择N个样本,这M x N个样本也称为support set。对于另一个从这M个class中选择的待预测样本,模型需要确定其属于哪个class,这类问题也称为M way N shot。在测试过程中,对于在训练集中从未见过的class,模型需要在M way N shot的模式下正确分类出样本的类别。常见的M和N的设置为:5 way 1 shot, 10 way 1 shot, 5 way 5 shot, 10 way 5 shot。

    01
    领券