首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    前沿 | DeepMind 最新研究——神经算术逻辑单元,有必要看一下!

    众所周知,神经网络可以学习如何表示和处理数字式信息,但是如果在训练当中遇到超出可接受的数值范围,它归纳信息的能力很难保持在一个较好的水平。为了推广更加系统化的数值外推,我们提出了一种新的架构,它将数字式信息表示为线性激活函数,使用原始算术运算符进行运算,并由学习门控制。我们将此模块称为神经算术逻辑单元(NALU) ,类似于传统处理器中的算术逻辑单元。实验表明,增强的NALU 神经网络可以学习时间追踪,使用算术对数字式图像进行处理,将数字式信息转为实值标量,执行计算机代码以及获取图像中的目标个数。与传统的架构相比,我们在训练过程中不管在数值范围内还是外都可以更好的泛化,并且外推经常能超出训练数值范围的几个数量级之外。

    01

    脑机接口减肥大法来了!自动减少暴饮暴食频率,无明显副作用|Nature子刊

    Alex 发自 凹非寺 量子位 | 公众号 QbitAI 有正在(或者打算)控制体重的盆友吗? 但当一堆美味佳肴摆在你面前时,是不是常常又馋涎欲滴?(不信?看图) 不过现在有个帮你控制食欲的新招儿来了:插入脑机接口。 这算是不靠意志力也能减肥了吧! 而且这个方法还是经过实验证明的—— 实验结果显示,给体重超标者植入大脑刺激装置后,可以控制他们暴饮暴食的欲望,从而帮其减重。 经过6个月的食欲控制,这些参与实验的体重超标者平均掉秤10斤。 值得注意的是,在此期间并没有加上其他的减重手段;而且这个脑机接口减肥大

    01

    中科院自动化所提出M2MKD | 基于模块粒度的蒸馏,m2mKD让模型在ImageNet上再涨3.5%

    尽管在计算机视觉和自然语言处理等各个领域,大型单体模型取得了显著的成功,但人们对其有限的泛化能力和不断增加的计算成本表示担忧。与此同时,模块化模型越来越受到关注,它们有望减轻单体模型的缺点。与具有固定计算图和参数的单体模型相比,模块化神经架构能够根据输入调整其参数,具有静态单体模型所缺乏的优越特性。与集体优化参数的单体模型不同,模块化模型由独立的模块组成,每个模块可以局部更新,而不会影响网络的其他部分。这些模块经过训练以专精于特定任务。在推理过程中,即使对于分布外的样本,也只有相关的模块会被激活,从而提高泛化性能。例如,DEMix Layers通过从训练数据中学习到的医学和新闻模块联合表示与COVID-19相关的数据。此外,模块化模型中的条件计算提高了计算效率。一个典型的模块化架构,即专家混合体(Mixture-of-Experts, MoE),在保持与原始模型相似的计算需求的同时,大幅提升了模型的能力。

    01

    Neuron综述|昼夜节律和情绪障碍:是时候看清真相了

    摘要:时间的重要性在我们的世界中一直很普遍,正常的光/暗和睡眠/觉醒周期的中断现在已经成为常态。所有情绪障碍,包括季节性情感障碍(SAD)、重度抑郁症(MDD)和双相情感障碍(BD),都与各种生理过程中的异常睡眠和昼夜节律密切相关。光/暗变化和季节变化都有可能对正常睡眠/觉醒模式产生破坏。此外,针对昼夜节律系统的治疗已被证明在某些情况下是有效的。这篇综述将总结这些疾病如何与特定昼夜节律表型相关联,以及将生物钟与情绪调节联系起来的神经元机制。我们还讨论了从昼夜节律的治疗中学到的东西,以及我们如何利用现有知识开发更多个性化设计的治疗方法。

    01

    生物启发的终生学习系列论文The Neural Adaptive Computing Laboratory

    Neural architectures trained with back-propagation of errors are susceptible to catastrophic forgetting. In other words, old information acquired by these models is lost when new information for new tasks is acquired. This makes building models that continually learn extremely difficult if not near impossible. The focus of the NAC group's research is to draw from models of cognition and biological neurocircuitry, as well as theories of mind and brain functionality, to construct new learning procedures and architectures that generalize across tasks and continually adapt to novel situations, combining input from multiple modalities/sensory channels. The NAC team is focused with developing novel, neurocognitively-inspired learning algorithms and memory architectures for artificial neural systems (for both non-spiking and spiking neurons). Furthermore, we explore and develop nature-inspired metaheuristic optimization algorithms, ranging from (neuro-)evolution to ant colony optimization to hybrid procedures. We primarily are concerned with the various sub-problems associated with lifelong machine learning, which subsumes online/stream learning, transfer learning, multi-task learning, multi-modal/input learning, and semi-supervised learning.

    01

    扫码

    添加站长 进交流群

    领取专属 10元无门槛券

    手把手带您无忧上云

    扫码加入开发者社群

    相关资讯

    热门标签

    活动推荐

      运营活动

      活动名称
      广告关闭
      领券