专栏首页arxiv.org翻译专栏使用感官时间提示启用无监督多模式元学习(CS CV)
原创

使用感官时间提示启用无监督多模式元学习(CS CV)

随着来自IoT(物联网)传感器的数据变得无处不在,最先进的机器学习算法在直接使用传感器数据方面面临许多挑战。为了克服这些挑战,必须设计方法来直接从传感器学习,而无需手动注释。本文介绍了无监督元学习的感官时间提示。与传统的学习方法非常依赖标签或不依赖时间的特征提取假设(例如高斯分布特征)不同,STUM系统使用输入的时间关系来指导模态内部和模态之间的特征空间形成。STUM从各种小任务中学习的事实可能会将这种方法引入元学习阵营。与现有的元学习方法不同,STUM学习任务是基于时间线索与IoT流数据共存的,在多种模式之内和之间进行组合。在视听学习示例中,由于连续的视觉帧通常包含同一对象,因此该方法提供了一种独特的方式将来自同一对象的特征组织在一起。如果语音名称与对象同时出现,则相同的方法还可以将视觉对象特征与对象的语音名称特征一起组织起来。这种跨模态特征组织可以进一步帮助属于相似对象但在不同位置和时间获取的视觉特征的组织。通过评估可以取得有希望的结果。

原文题目:Using Sensory Time-cue to enable Unsupervised Multimodal Meta-learning

原文:As data from IoT (Internet of Things) sensors become ubiquitous, state-of-the-art machine learning algorithms face many challenges on directly using sensor data. To overcome these challenges, methods must be designed to learn directly from sensors without manual annotations. This paper introduces Sensory Time-cue for Unsupervised Meta-learning (STUM). Different from traditional learning approaches that either heavily depend on labels or on time-independent feature extraction assumptions, such as Gaussian distribution features, the STUM system uses time relation of inputs to guide the feature space formation within and across modalities. The fact that STUM learns from a variety of small tasks may put this method in the camp of Meta-Learning. Different from existing Meta-Learning approaches, STUM learning tasks are composed within and across multiple modalities based on time-cue co-exist with the IoT streaming data. In an audiovisual learning example, because consecutive visual frames usually comprise the same object, this approach provides a unique way to organize features from the same object together. The same method can also organize visual object features with the object's spoken-name features together if the spoken name is presented with the object at about the same time. This cross-modality feature organization may further help the organization of visual features that belong to similar objects but acquired at different location and time. Promising results are achieved through evaluations.

原文作者: Qiong Liu, Yanxia Zhang

原文地址:https://arxiv.org/abs/2009.07879

原创声明,本文系作者授权云+社区发表,未经许可,不得转载。

如有侵权,请联系 yunjia_community@tencent.com 删除。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 基于双眼视觉的高精度无人机目标定位系统(CS CV)

    在工作过程中,无人驾驶车辆常常需要高精度地定位目标。在无人材料搬运车间中,无人车辆需要对工件进行高精度的姿态估计以准确地抓住工件。在此背景下,本文提出了一种基于...

    gaowanting
  • 脑机接口与神经资本主义的危险(CS HC)

    我们回顾了现有趋势与讨论脑机接口及其将产生的数据之间的关系。然后我们设想了大脑计算机接口技术的成熟如何影响称为神经资本主义的神经数据交易。我们探索这将如何对我们...

    gaowanting
  • 部署机器学习以帮助数字人性化:提高OpenStreetMap中的图像注释效率(CS HC)

    在发展中国家的农村地区进行人口定位吸引了人性化绘图项目的关注,因为规划措施对脆弱地区的影响很大。最近的努力已经解决了这个问题,即在空中图像中检测建筑物。但是,像...

    gaowanting
  • 扩增子图表解读1箱线图:Alpha多样性,老板再也不操心的我文献阅读了

    作者: 刘永鑫 日期:2017-6-17 阅读时长:10 min 宏基因组学 宏基因组学目前的主要研究方法包括:16S/ITS/18S扩增子、宏基因组、宏转录...

    生信宝典
  • Hebbian learning 的实现 Fast Weights

    用户1908973
  • Meta-KD:跨域语言模型压缩的元知识蒸馏框架(CS CL)

    预先训练的语言模型已应用于各种自然语言处理任务,具有可观的性能提升。然而,较大的模型规模,加上较长的推理时间,限制了此类模型在实时应用中的部署。一般来说,我们考...

    谭雪儿
  • 知足的动力

    引入一个介于0和1之间的连续变量来表征一个人的满足感或对生活的满意度,并根据对可能影响满足感的几个因素的分析,提出了控制其进化的方程式。由于满足感受物质福祉的强...

    甜甜圈
  • Kaggle竞赛:《NIPS 2017 Adversarial Learning Challenges》

    Batch normalization potentially helps in two ways: faster learning and higher ov...

    fishexpert
  • Array Broadcasting in Numpy

    原文链接:https://numpy.org/doc/1.17/user/theory.broadcasting.ht...

    于小勇
  • numpy.ndarray

    版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。 ...

    于小勇

扫码关注云+社区

领取腾讯云代金券