paper：Optimality of short-term synaptic plasticity in modelling certain dynamic environments
双向脑机接口(BMIs)在大脑和外部世界之间建立了双向的直接通信链接。解码器将记录的神经活动转换为运动指令，编码器将从环境中收集的感觉信息直接传递给大脑，形成闭环系统。这两个模块通常集成在笨重的外部设备中。然而，对严重运动和感觉缺陷患者的临床支持需要紧凑、低功率和完全可植入的系统，该系统可以解码神经信号来控制外部设备。
A Review of Findings from Neuroscience and Cognitive Psychology as Possible Inspiration for the Path to Artificial General Intelligence
整理｜李梅、黄楠 编辑｜陈彩娴 过去十年，AI 在计算机视觉、语音识别、机器翻译、机器人、医学、计算生物学、蛋白质折叠预测等等领域取得了一个又一个突破，而这些突破的背后，均离不开深度学习。那么，深度学习起源于何时何地，又在何时成为最突出的AI方法？ 最近，UC伯克利教授、深度学习专家Pieter Abbeel在其播客节目《机器人大脑》（Robot Brains）中，对Geoffrey Hinton进行了一次访谈。 曾获得2018年图灵奖的Hinton，被称为「深度学习三巨头」之一，是人工智能史上最重要的学者
大数据文摘转载自AI科技评论 整理：李梅、黄楠 编辑：陈彩娴 过去十年，AI 在计算机视觉、语音识别、机器翻译、机器人、医学、计算生物学、蛋白质折叠预测等等领域取得了一个又一个突破，而这些突破的背后，均离不开深度学习。那么，深度学习起源于何时何地，又在何时成为最突出的AI方法？ 最近，UC伯克利教授、深度学习专家Pieter Abbeel在其播客节目《机器人大脑》（Robot Brains）中，对Geoffrey Hinton进行了一次访谈。 曾获得2018年图灵奖的Hinton，被称为「深度学习三巨头」之
晓查 发自 凹非寺 量子位 报道 | 公众号 QbitAI 今天，英特尔发布了第二代神经拟态芯片Loihi 2。 神经拟态芯片是一种模拟生物神经元的芯片。 与普通芯片不同的是，神经拟态芯片的计算任务是由许多小单元进行的，单元之间通过类似生物神经的尖峰信号相互通信，并通过尖峰调整其行为。 目前，英特尔已经将这种芯片用于机械臂、神经拟态皮肤、机器嗅觉等场景。 2018年初，英特尔推出了其首款神经拟态芯片Loihi，采用14nm制程。 英特尔表示，Loihi 2是对第一代的重大升级，也是使用英特尔第一个EUV工
目前对于计算机科学家来讲，人工神经网络构建，往往基于这样一个概念：神经元是一个简单的、非智能的开关，神经网络的信息处理来源于数万（数万亿）个神经元之间的连接。
今天为大家介绍的是来自Martin A. Walsh， David I. Stuart和Payel Das的一篇关于药物发现的论文。对于新出现的药物靶点蛋白，药物抑制剂的发现是具有挑战性的，尤其是当目标结构或活性分子不为人所知时。在这里，作者通过实验证实了一个大规模训练的深度生成式框架在蛋白质序列、小分子和它们之间的相互作用上的广泛适用性。
选自Jack Terwilliger's Blog 作者：Jack Terwilliger 机器之心编译 参与：Panda 人工神经网络在很多领域都取得了突破性进展，这项技术的最初灵感源自生物神经网络。作为我们人类智能的来源，生物神经系统或许还能给我们的人工智能创造之路带来新的启迪。MIT 自动驾驶汽车和人工智能方向的副研究员 Jack Terwilliger 近日在自己的博客上发布了其系列文章《生物神经网络》的第一篇，对生物神经元的基本信息以及常见的模型进行了介绍。机器之心对本文进行了编译。原文中还包含一
研究人员发现，在神经网络推理的某些数据图中存在尖峰，这些尖峰往往出现在神经网络判断模糊与产生错误的地方。观察这些尖峰，研究人员可以更容易发现人工智能系统中的故障点。
我们开发了一种新的信用分配算法，用于不需要反馈突触的脉冲神经元的信息处理。具体而言，我们提出了一个事件驱动的前向-前向和预测性前向-前向学习过程的推广，用于在刺激窗口内迭代处理感觉输入的脉冲神经系统。因此，递归电路根据局部自下而上、自上而下和横向信号计算每层中每个神经元的膜电位，从而促进神经计算的动态、逐层并行形式。与依赖反馈突触来调整神经电活动的脉冲神经编码不同，我们的模型纯粹在线操作，并在时间上向前推进，提供了一种有前途的方法来学习具有时间脉冲信号的感觉数据模式的分布式表示。值得注意的是，我们在几个模式数据集上的实验结果表明，偶数驱动的前向-前向(ED-FF)框架对于训练能够分类和重建的动态循环尖峰系统工作良好。
Brain-inspired learning in artificial neural networks: a review
Introducing the Dendrify framework for incorporating dendrites to spiking neural networks
原文作者：Christopher Olah
近日，南加州大学(Universityof Southern California)维特比工程学院的研究人员正在使用生成对抗网络(GAN)来改善残疾人的脑机接口。生成对抗网络(Generative Adversarial Networks, GAN)是一种生成式模型，以创建深度伪造视频和逼真的人脸而闻名。
英特尔神经形态计算实验室主任Mike Davies在国际固态电路会议（ISSCC）上将深度学习批判了一番。
南加州大学(University of Southern California)维特比工程学院的研究人员正在使用生成对抗网络(GAN)来改善残疾人的脑机接口。生成对抗网络(Generative Adversarial Networks, GAN)是一种生成式模型，以创建深度伪造视频和逼真的人脸而闻名。
NeurIPS，全称神经信息处理系统大会(Conference and Workshop on Neural Information Processing Systems)，是一个关于机器学习和计算神经科学的顶级国际会议。该会议固定在每年的12月由NeurIPS基金会主办，被中国计算机协会推荐为A类会议。
本文译自：Russell Stewart's Blog -> Introduction to debugging neural networks 同步发布于个人博客，转载注明出处。 题目：调试神经
近年来，模仿人类智能的智能机器人取得了巨大进步。然而，目前的机器人在动态环境中处理多任务方面还有较大限制。为了提高可扩展性和适应性，进一步发展智能机器人至关重要。本研究报告了一个基于无人驾驶自行车的大脑启发机器人平台，该平台具有可扩展的网络规模、数量和多样性，能够适应不断变化的需求。该平台采用丰富的编码方案和可训练、可扩展的神经状态机，实现了混合网络的灵活协作。此外，本研究使用跨范式神经形态芯片开发了嵌入式系统，以便实现各种形式的神经网络。该平台能够并行处理不同现实场景下的实时任务，为增强机器人智能提供了新的方法。
作者：Shaohan Huang, Li Dong, Wenhui Wang, Yaru Hao, Saksham Singhal, Shuming Ma, Tengchao Lv
而自行车背后的“天机”类脑芯片，便是清华团队将这两条原本十分不同的思路，精妙地结合在一起了。
作者 | Russell Stewart 译者 | zhwhong（@zhwhong_shsf） 整理 | AI100（rgznai100） 以下建议主要针对神经网络的初学者。这些建议主要基于我在行业应用和斯坦福大学里为神经网络初学者提供建议所获得的经验。 神经网基本上比大多数程序更难调试，因为大多数神经网络错误不会导致类型错误或运行时错误。它们只是导致神经网络难以收敛。特别是当你刚接触这个的时候，它会让人非常沮丧！但是一个有经验的神经网络训练者将能够系统地克服这些困难，尽管存在着大量似是而非的错误消
Part II: The brain vs. deep learning — a comparativeanalysis
很大程度上，下一代高性能、低功耗的计算机系统是来自大脑的启发。作为最精密的“通用智能体“，大脑运转层次结构的研究对于计算机性能的快速增长有着重要的启发作用。
在过去的十年中，深度神经网络(DNNs)在各种应用中表现出显著的性能。当我们试图解决更艰难和最新的问题时，对计算和电力资源的需求增加已经成为不可避免的。
在人工神经网络中，被称之为神经元的诸多组件被植入数据并协同来解决诸如人脸识别等问题。神经网络反复调整相互间的突触——一种神经元之间的连接，确定由此产生的行为模式是否为更佳的解决方案。但随着时间推移，神经网络最终会在计算的结果中发现最佳的行为模式。而后它会选取这些模式作为默认值，模仿人脑的学习过程。
基于事件的相机是受生物启发的传感器，它们异步捕捉视觉信息，实时报告亮度变化[1, 2]。与传统相机相比，基于事件的传感器的主要优势包括触发事件之间的低延迟[3]，低功耗[4]和高动态范围[5]。这些优势直接来自于硬件设计，基于事件的相机已经被应用于各种领域，如三维扫描[6]，机器人视觉[7]和汽车工业[8]。然而，在实践中，基于事件的传感器捕捉到的是独特的脉冲数据，这些数据编码了场景中光强变化的信息。数据中的噪声极高，且缺乏对这些数据的通用处理算法，以提供与传统数字相机数据上的传统视觉算法相当的能力。
长期以来，对非侵入性神经成像方法的需求一直存在，这种方法可以在高时间和高空间分辨率下检测神经元活动。我们提出了一种二维快速线扫描方法，能够以毫秒精度直接成像神经元活动，同时保留磁共振成像(MRI)的高空间分辨率。在电须垫刺激期间，这种方法通过9.4特斯拉的活体小鼠大脑成像得到了证明。体内峰值记录和光遗传学证实了所观察到的MRI信号与神经活动的高度相关性。它还捕获了沿着丘脑皮层通路的神经元活动的顺序和层状特异性传播。这种对神经元活动的高分辨率、直接成像将通过提供对大脑功能组织(包括神经网络的时空动力学)的更深入理解，为脑科学开辟新的途径。
脉冲神经网络( Spiking neural network-SNN ) 是更接近自然神经网络的人工神经网络。除了神经元和突触状态之外，SNN 还将时间概念纳入其操作模型。这个想法是， SNN 中的神经元不会在每个传播周期传输信息（就像典型的多层感知器网络一样），而是仅在膜电位发生时才传输信息 - 与膜电荷相关的神经元的内在质量 - 达到特定值，称为阈值。当膜电位达到阈值时，神经元会放电，并产生一个信号，该信号传播到其他神经元，这些神经元又会根据该信号增加或降低它们的电位。在阈值交叉时触发的神经元模型也称为脉冲神经元模型。
OpenSpike 是一种尖峰神经网络 (SNN) 加速器，使用完全开源的 EDA 工具、流程设计工具包 (PDK) 和使用OpenRAM合成的内存宏。该芯片采用 130 nm SkyWater 工艺流片，集成了超过 100 万个突触权重，并提供可重新编程的架构。它以40 MHz的时钟速度运行，1.8 V的电源，使用PicoRV32内核进行控制，占用面积为33.3 mm 2. 加速器的吞吐量为每秒 48,262 张图像，挂钟时间为 20.72 μs，速度为 56.8 GOPS/W。尖峰神经元使用滞后作用来提供可以减少状态不稳定性的自适应阈值（即，施密特触发器）。这导致了一系列基准测试中的高性能 SNN 与最先进的全精度 SNN 相比仍然具有竞争力。
NEUROBENCH: ADVANCING NEUROMORPHIC COMPUTING THROUGH COLLABORATIVE, FAIR AND REPRESENTATIVE BENCHMARKING
在此论文中，来自南京大学的张绍群博士和周志华教授提出一个新型神经元模型 Flexible Transmitter (FT)，该模型具备灵活的可塑性并支持复杂数据的处理。据论文介绍，这项研究为神经网络提供了一种新的基本构造单元，展示了开发具有神经元可塑性的人工神经网络的可行性。
欢迎关注“ 计算机视觉研究院 ” 计算机视觉研究院专栏 作者：Edison_G 使用常规深度神经网络到脉冲神经网络转换方法应用于脉冲神经网络域时，性能下降的很多，深入分析后提出了可能的解释：一是来自逐层归一化的效率低，二是用于leaky-ReLU函数的负激活缺乏表示。 1.前言 在过去的十年中，深度神经网络(DNNs)在各种应用中表现出显著的性能。当我们试图解决更艰难和最新的问题时，对计算和电力资源的需求增加已经成为不可避免的。 Spiking neural networks(SNNs)作为第三代神
语音识别建模对语音识别来说是不可或缺的一部分，因为不同的建模技术通常意味着不同的识别性能，所以这是各个语音识别团队重点优化的方向。也正是因为如此，语音识别的模型也层出不穷，其中语言模型包括了N-gram、RNNLM等，在声学模型里面又涵盖了HMM、DNN、RNN等模型...
基于单晶体管的神经元和突触可大幅降低硬件成本，加速神经拟态硬件的商业化。研究人员使用标准硅 CMOS 工艺制造的单晶体管神经元和突触。它们共同集成在同一个8英寸晶圆片上。
paper: Dendritic predictive coding: A theory of cortical computation with spiking neurons
本文介绍由以色列耶路撒冷希伯来大学的David Beniaguev等人发表于Neuron的研究成果。作者使用机器学习方法，表明皮质锥体神经元的I/O特性可以在毫秒级的分辨率下，由一个5到8层的时间卷积神经网络来近似描述。DNN的深度源于NMDA受体和树突形态之间的相互作用。对DNN的权重矩阵的分析表明，树突分支可以被概念化为一组时空模式检测器。作者还提供了一个统一的方法来评估任何神经元类型的计算复杂度。
计算神经科学家通过训练人工神经网络来模仿生物神经元，提供了一种探讨单个脑细胞复杂性的新方法。
最近在阅读 Jeremy Rifkin 的书《The End of Work》时，我读到一个有趣的关于 AI 的定义。Rifkin 写到：「今天，当科学家们谈论人工智能时，他们通常是指『一门创造机器的艺术，该机器所执行的功能在人类执行时需要智能』（Kurzweil, Raymond, The Age of Intelligent Machines (Cambridge, MA: MIT Press, 1990), p. 14.）」。我很喜欢这个定义，因为它避免了类似」在人类智力意义上 AI 是否真正达到智能」的讨论。
机器学习和深度学习算法的起源，是连接大脑中神经元的突触强度的学习机制，它越来越多地影响着当代生活的几乎所有方面。
作者：Yangfan Hu等 机器之心编译 参与：Geek AI、张倩 脉冲神经网络（SNN）具有生物学上的合理性，并且其计算潜能和传统神经网络相同，主要障碍在于训练难度。为解决这个问题，浙江大学和四川大学近日提出了脉冲版的深度残差网络 Spiking ResNet。为解决模型转换的问题，研究者提出了一种新机制，对连续值的激活函数进行标准化，以匹配脉冲神经网络中的脉冲激发频率，并设法减少离散化带来的误差。在多个基准数据集上的实验结果表明，该网络取得了脉冲神经网络的当前最佳性能。 引言 研究表明，脉冲神经
原文：https://towardsdatascience.com/how-to-visualize-convolutional-features-in-40-lines-of-code-70b7d87b0030
机器之心专栏 作者：温正棋 极限元智能科技 本文作者温正棋为极限元智能科技 CTO 、中国科学院自动化研究所副研究员，毕业于中国科学院自动化研究所，先后在日本和歌山大学和美国佐治亚理工学院进行交流学习，在国际会议和期刊上发表论文十余篇，获得多项关于语音及音频领域的专利。其「具有个性化自适应能力的高性能语音处理技术及应用」获得北京科学技术奖。在语音的合成、识别、说话人识别等领域都有着多年深入研究经验，并结合深度学习技术开发了多款语音应用产品。 为了提高客户满意度、完善客户服务，同时对客服人员工作的考评，很多企
以深度学习为代表的人工神经网络是机器学习最重要的方法之一，在云端和终端都有非常广泛的应用。然而传统的CPU和GPU芯片在进行神经网络处理时遇到了严重的性能和能耗瓶颈。
1 Computing on Functions Using Randomized Vector Representations (in brief）
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
实时音视频
对象存储
云直播
