专栏首页人工智能前沿讲习类脑计算的前沿论文,看我们推荐的这7篇

类脑计算的前沿论文,看我们推荐的这7篇

关注文章公众号 回复"类脑计算"获取本主题精选论文

近年来随着传统人工智能算法逐步陷入瓶颈,人们期待与从脑科学中得到相应的启发来改进模型,进而从狭义人工智能走向通用人工智能。类脑智能作为人工智能重要的应用方向之一,也在逐步探索高效、快速并且具有生物可解释性的算法模型。

由SFFAI17分享嘉宾杜长德同学为大家精选出来的关于生物视觉建模的论文以及李春放同学为大家精选出来的类生物的神经网络模型和小样本计算方法,将带你了解类脑研究的基本方向。你可以先仔细阅读,并带着问题来现场交流哦。

1

?????

推荐理由:2017年日本Kamitani团队提出的基于深度学习的神经解码研究,发表在nature communication上。该文章系统研究了各种视觉特征(SIFT,GIST,CNN1-8等)与大脑视觉皮层各个脑区(V1,V2, V4,…)之间的对应关系,分析了计算机视觉模型和人脑视觉之间的联系和差异。该研究项目采用ImageNet图像数据库中的部分类别作为视觉刺激,并且已经将大脑信号数据和代码开源,为该领域做出了很大贡献。由于论证了深度神经网络和大脑视觉通路的联系,为任意物体的视觉神经编解码研究建立了很好的基础,值得仔细阅读。

推荐理由来自:杜长德

2

?????

推荐理由:这篇文章是自动化所张铁林老师和曾毅老师团队对SNN更新规则的探索成果之一,主要是要解决SNN用于图像分类时不能进行监督学习的问题。

本文与曾老师团队其他工作一样,都是基于系统神经科学对生物神经网络的认识,提出的SNN训练方法相比于其他同类工作更加贴近生物神经系统在学习时的更新过程。

文中提出的SNN更新方法同时考虑了神经元的四个特性,包括神经元膜电位总是趋于稳态,神经元存在兴奋型和抑制型两类,神经元突触拥有短时可塑性(STP),神经元之间存在逆向通路用于信号的反响传播。利用这四种特性,就可以使用简单的SNN网络结构获得较好的图像分类结果。

这篇文章最大的亮点在于它是为数不多的既能保证SNN仿生特性不减少,又能大幅提高图像分类准确率,还能对实验结果进行分析的文章。而且本文前几部分对SNN做了较为详尽的介绍,只要接触过ANN就能大致看懂。另外,文中的方法主要源于曾毅和张铁林老师的另一篇文章,Improving Multi-layer Spiking Neural Networks by Incorporating Brain-inspired Rules,可以两篇一起阅读,更能加深对这些SNN更新法则的理解。

推荐理由来自:李春放

3

?????

推荐理由:这篇文章是多伦多大学向量实验室的Snell提出了一种简单有效的方法,原型网络,用于解决小样本学习中图像分类准确率太低的问题。

本文首次将欧式距离引入小样本学习,作为向量空间的度量,并且首次将类别特征向量(类别原型)与样本特征向量映射到同一向量空间,大幅度提升了小样本学习用于复杂图像分类的准确率。

从目前的研究来看,原型网络开创了小样本学习中的一种重要范式,之后的众多方法多是基于原型网络进行设计的。

推荐理由来自:李春放

4

????

推荐理由:2017年普渡大学Zhongming Liu团队提出的基于深度学习的神经编解码研究,发表在Cerebral Cortex上。该文章从动态视频刺激入手研究人脑对动态场景的编码和解码能力。文章采用AlexNet为基础深度学习网络,将视频刺激在AlexNet中的各层表征与大脑视觉皮层各个脑区建立关系。得出初级视觉皮层与神经网络的浅层特征相关性较高,而高级视觉皮层与神经网络深层次特征相关性较高的结论。文章实现了根据fMRI脑活动按数据重建对应的动态视频,虽然清晰度有待提高但该研究项目已经将数据和代码开源,值得一读。

推荐理由来自:杜长德

5

????

推荐理由:2017年Naselaris等人提出的基于深度特征加权的神经编码模型,发表在NeuroImage上。该文章基于群体感受野和多层特征加权思想构建了一个可解释的神经编码模型,相较于传统的编码模型,该方法效果更好,可解释性也更好,为理解视觉神经编码方式作出了重要贡献。

推荐理由来自:杜长德

6

????

推荐理由:这篇文章是新加坡国立大学淡马锡实验室的两位研究员发表在NeurIPS 2018 上的一篇文章,利用概率的方法解决了脉冲信号不可求导的问题,从而大幅提高了SNN用于图像分类的准确率,还创新性地将SNN用于动态图像识别、人体动作识别和音频识别,获得了非常好的实验效果。

本文主要关注了神经元的两个宏观表现,即突触权重和轴突延迟,对于SNN的影响,以及将这两个表现用于网络更新的方法。作者还引入了强化学习中信用分配策略的概念,根据膜电位与脉冲产生的阈值电位,将脉冲的出现和消失都变成概率,使得离散的脉冲信号在计算梯度时变成了连续的脉冲产生概率,从而在保证信号形式不变的情况下解决了脉冲信号不可求导的问题。

文中将SNN脉冲产生和传输的过程分解成与ANN信号传输过程类似的几部分,用“管道函数”的形式表示出来。虽然“管道”中的数据流都是离散的,但是“管道函数”中只有激活函数的形式是离散的,所以在求梯度时只需要对激活函数部分进行特殊处理即可。

这篇文章中提出的SNN训练方法是真正地利用网络中传输的离散信号对网络进行优化,而之前很多提出的能够端到端学习的方法则多是利用膜电位等间接信号。更重要的是,本文提出的训练方法,能适用多种任务,还都能获得最好的效果,这为以后实现单个SNN同时处理时域和空域信号打下基础。

推荐理由来自:李春放

7

????

推荐理由:这篇文章是要进一步提升小样本学习在图像分类问题中的准确度。

本文关注了分类任务中,同一任务的多个类别之间有较强的相关性,从而根据任务中多个类别的共同特性对特征提取器进行调整。另外,文中也对常用的两种向量空间度量,余弦相似度和欧式距离,进行了整合,通过一个参数的调整使得新的度量在两种经典度量之间动态变化,从而更好地适用于不同的分类任务。

TADAM是目前为止在mini-imagenet数据集上性能最好的模型,它的作用原理值得思考,有助于进一步提升小样本学习在图像分类方面的能力。

推荐理由来自:李春放

阅读原文

报名

↓↓

本文分享自微信公众号 - 人工智能前沿讲习(AIFrontier),作者:must

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2019-01-07

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 基于深度学习的人脑视觉神经信息编解码研究进展及挑战【附PPT】

    现实世界中,外部视觉刺激是多种多样、杂乱无章的,而人类的视觉系统,从视网膜到高级视觉皮层的各个认知阶段,却能以某种方式稳定地识别和理解这些视觉输入数据。人脑在复...

    马上科普尚尚
  • 精选论文 | 元学习与增量学习【附打包下载】

    元学习(Meta Learning)和增量学习(Incremental Learning)是目前机器学习理论中比较火热的研究方向。两位报告嘉宾为大家精选了近期元...

    马上科普尚尚
  • 语音识别的前沿论文,看我们推荐的这4篇

    近年来智能语音进入了快速增长期,语音识别作为语音领域的重要分支获得了广泛的关注,如何提高声学建模能力和如何进行端到端的联合优化是语音识别领域中的重要课题。

    马上科普尚尚
  • 摩拜单车数据爬虫

    之前摩拜单车服务器对请求频率作出限制,必须使用代理服务器,躲避IP限制。不过似乎近期服务器在切换为OpenResty后不再限制请求频率。我搜集了几w个开放代理,...

    机器学习AI算法工程
  • Android高频面试专题 - 进阶篇(二)内存泄漏

    虚拟机栈:线程私有,随线程创建而创建。栈里面是一个一个“栈帧”,每个栈帧对应一次方法调用。栈帧中存放了局部变量表(基本数据类型变量和对象引用)、操作数栈、方法出...

    Android扫地僧
  • 再也不怕问我volatile关键字,你随便问!!!

    面试官问题:1.Java并发这块了解的怎么样?说说你对volatile关键字的理解?

    Java帮帮
  • KEGG Disease 数据库

    kegg disease 数据库收录了已经报告的各种疾病的信息,每个记录用H Number 唯一标识, 比如H00004。

    生信修炼手册
  • 开发者的福音:GenerateWP 自动生成WordPress 开发相关代码

    开发 WordPress 主题或插件的时候,有很多比较常用的功能,例如边栏、自定义菜单、自定义文章类型等等,都需要手动书写或者复制,需要大量的时间和精力,但是有...

    Jeff
  • 一文看懂目标检测边界框概率分布

    众所周知,CNN的有监督学习通常是建立在给定训练数据集之上的,数据集的标签(也称为GT),决定了人类期望模型学习的样子。它通过损失函数、优化器等与CNN模型相连...

    于小勇
  • 使用Guava RateLimiter限流以及源码解析

    首先通过RateLimiter.create(1);创建一个限流器,参数代表每秒生成的令牌数,通过limiter.acquire(i);来以阻塞的方式获取令牌,...

    用户6182664

扫码关注云+社区

领取腾讯云代金券