[译]迈向下一代人工智能：催化神经人工智能革命
[译]迈向下一代人工智能：催化神经人工智能革命
文章目录
译者前言：
这是一篇作者大牛云集的“白皮书”，有AI、神经科学、计算神经科学等领域的知名学者，总体上就是推神经科学与人工智能交叉结合，他们称为NeuroAI——神经人工智能。
先介绍一下译者较为熟悉的部分作者。最显眼的是前几年因深度学习获图灵奖的LeCun和Bengio；Deepmind的Matthew Botvinick有神经和计算背景，和Timothy Lillicrap一起近期都在深度强化学习领域有一些比较重要的论文；MIT的Jame Dicarlo、CIT的Doris Tsao是以神经科学为主，近年来的研究工作中对深度学习技术的使用颇多；Surya Ganguli、Terrence Sejnowski、David Sussillo都是计算神经科学领域知名的学者；Jeff Hawkins是Palm的创始人、On Intelligence一书的作者之一、近期的《千脑理论》一书的作者；第一署名的Anthony Zador也是经科学背景，译者之前有接触到他关于神经网络基因瓶颈的观点和工作，也很有意思。
原文中“结论”之前有一段，谈及美国在AI领域的战略问题，提出要通过对神经人工智能革命的投入来保持美国AI研究领导优势的观点。对此，译者按原意译出，这是中国学者和政府都可以参考和学习的。
摘要
长期以来，神经科学一直是人工智能 (AI) 进步的重要驱动力。我们建议，为了加速 AI 的进步，我们必须投资于 神经人工智能（NeuroAI）的基础研究。
背景（此标题为译者加）
在接下来的几十年里，人工智能 (AI) 将以与过去半个世纪的计算机革命一样深刻的方式改变社会和世界经济，而且速度可能会更快。这场人工智能革命为在现代经济中释放人类创造力提供了巨大的机会。人工智能系统的新发展有可能使工人获得更高的生产力，并使他们免于从事最危险和最卑微的工作。但是，为了达到这种可能，我们仍然需要使人工智能在能力上更像人类的方向提升。从历史上看，神经科学一直是人工智能改进的关键驱动力和灵感来源，特别是那些使人工智能在人类和其它动物擅长的领域更精通的方面，例如视觉、基于奖励的学习、与物理世界的互动，以及语言（Hassabis 等人，2017）。它仍然可以扮演这个角色。为了加快人工智能的进步并发挥其巨大的潜力，我们必须投资于“神经人工智能”的基础研究。
当前人工智能革命的种子是几十年前播下的，主要是研究人员试图了解大脑如何计算（McCulloch 和 Pitts，1943）。事实上，最早构建“人工大脑”的努力导致了现代“冯诺依曼计算机体系结构”的发明，为此约翰冯诺依曼明确利用了他在 1940 年代可获得的非常有限的大脑知识（Von Neumann，2012）。催化最近现代人工智能革命的深度卷积网络是建立在人工神经网络 (ANN) 之上的，该网络直接受到 David Hubel 和 Torsten Wiesel 在猫视觉处理回路方面的诺贝尔奖获奖工作的启发（Hubel 和 Wiesel，1962；LeCun和 Bengio，1995)。同样，强化学习 (RL) 的发展直接从对学习期间动物行为和神经活动的洞察中汲取灵感（Thorndike 和 Bruce，2017；Rescorla，1972；Schultz、Dayan 和 Montague，1997）。现在，几十年后，人工神经网络和强化学习的应用来得如此之快，以至于许多观察家认为人类智能这一长期难以实现的目标——有时被称为“通用人工智能”——在我们的掌握之中。然而，与该领域以外的人的乐观相反，许多一线人工智能研究人员认为，在我们构建能够完成人类——甚至是像老鼠这样更简单的动物——所有能做的工作的人工系统之前，还需要取得重大的新突破。
尽管人工智能系统可以在国际象棋（Campbell, Hoane 和 Hsu，2002）和围棋（Silver 等人，2016）等游戏中轻松击败任何人类对手，但它们并不强大，并且在面对新情况时经常会遇到困难。此外，我们还没有建立可以走到架子上、取下棋盘、设置棋子并在游戏中移动它们的系统。同样，没有机器可以筑巢、觅食或照顾幼崽。今天的人工智能系统无法与四岁儿童的感觉运动能力相媲美，甚至无法与简单的动物相媲美。驾驭新情况所需的许多基本能力——动物拥有或毫不费力地获得的能力——对人工智能来说似乎具有挑战性，部分原因是人工智能系统甚至缺乏与不可预测的世界互动的基本能力。越来越多的 AI 研究人员怀疑，仅仅扩大当前的方法就能克服这些限制。鉴于需要在 AI 中实现更多自然智能，很可能需要来自自然智能系统的新灵感（Sinz 等人，2019）。
虽然许多关键的人工智能进步，如卷积人工神经网络和强化学习都受到了神经科学的启发，但目前机器学习的大部分研究都在走自己的路，建立在以前开发的方法的基础上，这些方法受到神经科学几十年前发现的启发，比如基于注意力机制的神经网络受到大脑中注意力机制的启发（Itti, Koch 和 Niebur，1998; Larochelle 和 Hinton，2010; Xu 等人，2015）。现代神经科学的新影响是存在的，但它们是由少数研究人员带头的。这代表一个错失的机会。在过去的几十年里，通过 NIH BRAIN 计划等努力，我们积累了大量关于大脑的知识。这使我们能够大量了解支撑自然智能的解剖结构和功能结构。神经人工智能的新兴领域是神经科学和 AI 的交叉点，其前提是更好地理解神经计算将揭示智能的基本成分并催化 AI 的下一次革命，最终导致具有可匹配甚至超过人类的类似能力的人工智能体。我们认为，现在是进行大规模努力来识别和理解生物智能原理，并将其抽象用于计算机和机器人系统的正确时机。
尽管很容易关注智能行为中最具人类特征的方面，例如抽象思维和推理，但智能的基本要素——适应性、灵活性和从稀疏观察中做出一般推断的能力——已经以某种形式存在在已经进化了数亿年的基本感觉运动回路中。正如人工智能先驱汉斯·莫拉维克（Moravec，1988）所说，抽象思维“是一种新技巧，也许不到 10 万年的历史……之所以有效，只是因为它得到了这种更古老、更强大、但通常是无意识的感觉运动知识的支持。 ”这是个好消息，因为这意味着神经科学研究的受青睐对象——大鼠、小鼠和非人类灵长类动物——可以作为自然智能的实验易处理模型。如果人工智能能够匹配它们看似简单的感知和运动能力，那么通向人类智能的台阶就会小得多。因此，我们相信，如果我们弄清楚所有动物在与世界的具身感觉运动交互中拥有的核心能力，神经人工智能路径将带来必要的进步。
神经人工智能大挑战：具身图灵测试
1950 年，艾伦·图灵提出了“模仿游戏”（Turing，1950）来测试机器表现出与人类相同或无法区分的智能行为的能力。在那场现在被称为图灵测试的游戏中，人类法官被要求评估真人与受过训练以模仿人类反应的机器之间的自然语言对话。图灵提出，代替能够具体说明机器是否可以“思考”（他认为这是一个不可能回答的问题），我们可以确定机器的会话能力是否与人类的无法区分。图灵提出，这是对“机器能不能思考”这个无法回答的问题的合理替代。图灵测试中隐含的信念是，语言代表了人类智能的顶峰，能够对话的机器肯定是智能的。在某种程度上，图灵是对的，但在另一方面他又错了。虽然没有人工智能系统通过了图灵测试，但最近仅在大型文本语料库上训练的语言系统可以进行令人惊讶的有说服力的对话。它们的成功在一定程度上揭示了我们很容易被欺骗，将智力、能动性甚至意识归因于我们的对话者（Sejnowski，2022）。另一个是，这些系统在某些推理任务上仍然很差（Kosoy 等人 11–13，2022）。尽管这些最近的成功令人印象深刻，但它们的失败也凸显了图灵忽视了一个事实，即智力远不止语言能力。当前自然语言处理系统所犯的许多错误说明了语义、因果推理和常识的根本缺乏。单词对这些模型的意义仅在于它们的统计共现，而不是它们以现实世界经验为基础，因此即使是最先进的语言模型，尽管它们的力量越来越大，仍会继续挣扎于物理常识的一些基本方面。因此，最初制定的图灵测试并未探索与动物共享的以灵活方式理解物理世界的能力。此外，这种理解很可能建立在我们惊人的感知和运动能力之上，这些能力是通过无数代的自然选择磨练出来的。
因此，我们提出了一个扩展的图灵测试，其中包括高级感觉运动能力。最初的图灵测试的精神是建立一个简单的定性标准，以此来判断我们在构建人工智能机器方面取得的进展。扩展的“具身图灵测试”将对人工系统、人类和其它动物与世界的交互进行基准测试和比较。因为每只动物都有自己独特的一套能力，每只动物都定义了自己的具身图灵测试：可以测试人造海狸建造水坝的能力，测试人造松鼠跳树的能力。尽管如此，几乎所有动物都具有许多核心感觉运动能力，而动物快速发展适应新环境所需的感觉运动技能的能力表明，这些核心技能提供了坚实的基础。下面我们重点介绍其中的一些共同特征。
与世界互动
动物的决定性特征是，它们能够以有目的的方式四处走动并与环境互动。尽管最近在最优控制、强化学习和模仿学习方面取得了进展，但机器人在控制身体和操纵物体方面仍远未达到动物水平，即使在模拟中也是如此。当然，神经科学可以提供模块化和分层架构方面的指导，这种模块和分层的架构可以应用于人造系统，从而赋予它们这些能力（Merel、Botvinick 和 Wayne，2019）。它还可以为我们提供一些设计原则，例如部分自治（层次结构中的低级模块如何在没有高级模块输入的情况下半自主地运行）和摊销控制（amortized control，最初由缓慢的计划过程产生的运动是如何最终转移到快速反射系统的）。了解特定的神经回路如何参与不同的任务——比如运动，精细控制四肢、手和手指，感知和动作选择——可能为如何在机器人中实施此类系统提供一条途径，也可能为其它形式的“智能”提供解决方案，包括在更偏认知的领域。例如，我们推测结合低级运动控制的回路原理可以为 AI 系统中的高级运动规划提供更好的基础。
动物行为的灵活性
另一个目标是，通过与动物个体可以产生的令人难以置信的行为范围相呼应的方式，开发能够参与大量灵活和多样化任务的人工智能系统。只使用屏幕上的像素和游戏分数（Mnih 等人，2015），现代人工智能可以很容易地学会在像 Breakout 这样的视频游戏中超越人类。然而，与人类玩家不同，这些系统很脆弱，并且对小扰动高度敏感：稍微改变游戏规则，甚至是输入上的几个像素，都会导致灾难性的性能下降（Huang 等人，2017）。这是因为这些系统学习了从像素到动作的映射，不需要理解游戏中的智能体和对象以及控制它们的物理特性。同样，自动驾驶汽车本身并不知道板条箱从前面的卡车上掉下来的危险，除非它确实看到过板条箱从卡车上掉下来导致不良后果的例子。即使它已经接受过有关掉落板条箱的危险的培训，该系统也可能会将一个从它前面的汽车中吹出的空塑料袋作为不惜一切代价避免的障碍，而不是无害的讨厌之物，因为它实际上并不了解塑料袋是什么或它物理上的威胁度有多大。这种无法处理训练数据中没有出现的场景的情况，是对人工智能系统广泛信心的重大挑战。
为了在不可预测和不断变化的世界中取得成功，智能体必须灵活且通过使用其关于此类情况可能如何展开的一般知识来掌握新情况。这可以说是动物所做的。动物生来就具备茁壮成长所需的大部分技能，或者可以从有限的经验中迅速获得这些技能，这要归功于它们在现实世界互动中的坚实基础，以及进化和发展（development）的馈赠（Zador，2019）。因此，很明显，从头开始训练特定任务并不是动物获得令人印象深刻的技能的方式。动物不会进入白板世界，然后依靠大型标记训练集来学习。尽管机器学习一直在寻求避免这种白板限制的方法，包括自监督学习、迁移学习、持续学习、元学习、一次性学习和模仿学习（Bommasani 等人，2021），但这些方法都没有接近大多数动物的灵活性。因此，我们认为，哪怕是对简单的动物，理解其为现实世界中的行为灵活性提供基础的神经回路级的原理，也有可能大大提高人工智能系统的灵活性和实用性。换句话说，我们可以利用进化已经参与的优化过程，大大加快我们对用于现实世界交互的通用回路的搜索（Gupta 等人，2021；Stöckl、Lang 和 Maass，2022；Koulakov 等人，2022；Stanley 等人，2019；Pehlevan 和 Chklovskii，2019）。
能量效率
现代人工智能面临的一个重要挑战——我们的大脑已经克服了——是能量效率。训练神经网络需要大量的能量。例如，训练 GPT-3 等大型语言模型需要超过 1000 兆瓦时，足以为一个小镇供电一天（Patterson 等人，2021）。用于训练人工智能系统的能量总量很大并且增长迅速。相比之下，生物系统的能量效率要高得多：人脑使用大约 20 瓦（Sokoloff，1960）。大脑和计算机之间能量需求的差异源于信息处理的差异。首先，在算法层面，现代大规模人工神经网络，如大型语言模型（Brown 等人，2020 年），依赖于非常大的使用自注意力进行时间序列处理的前馈架构（Vaswani 等人，2017 年），而忽略了“循环”对于处理时序信息的潜在能力。造成这种情况的一个原因是，目前我们在循环网络中没有有效的信用分配计算机制。相比之下，大脑利用灵活的循环架构来处理随时间序列，并且显然可以非常有效地解决时间信用分配问题——甚至比当前人工神经网络中使用的前馈信用分配机制更有效。如果我们可以使用大脑来指导如何为循环回路设计有效的训练机制，那么我们就有可能提高我们处理时序数据的能力，同时进一步提高我们系统的能量效率。其次，在实现层面上，生物神经元主要通过传输动作电位（发放，spikes）进行交互，这是一种异步通信协议。就像传统数字元件之间的交互一样，神经元的输出可以看作是一串 0 和 1；但与数字计算机不同的是，“1”（即发放）的能量成本比“0”高几个数量级（Attwell 和 Laughlin，2001）。因为生物回路在稀疏发放的状态下运行——即使是非常活跃的神经元也很少超过 10% 的占空比 【注 1】，并且大多数以低得多的速率运行——它们的能量效率要高得多 (Lennie，2003)。
【注1】以1 毫秒为例，假设时间离散化，占空比可以定义为每秒发放的平均数除以 1000，即 1000 个可能位置中“1”的数量。因此，平均触发率为 100 个发放/秒的神经元的占空比为 10%，而一个平均触发率为 1 个发放/秒的神经元的占空比为 0.1%。
此外，其它因素可能有助于提高生物网络的能量效率。例如，即使某些组件非常不可靠或“嘈杂”，生物网络仍能有效计算。突触释放——神经元交流的方式——非常不可靠，以至于每 10 条信息中只有 1 条被传输（Dobrunz 和 Stevens，1997）。回路的组织使得发放序列也是高度可变的，这一特征可以允许神经回路执行概率推理，这是一种在存在不确定性的情况下的稳健计算形式（Ma 等人，2006）。尽管一直在努力利用发放网络的潜力（Davies 等人 2018; DeBole 等人 2019），但迄今为止，还没有出现这些网络能够以生物回路的能量效率执行的“杀手级应用”。可以说，主要问题是当前的“神经形态芯片”既不能复制先天的神经回路功能，也不容易训练（Roy、Jaiswal 和 Panda，2019）。因此，尽管它们的能量效率更高，但它们的用处远不如耗能大的数字同类产品。因此，我们认为，在 AI 中获得更高的能量效率不仅可以通过借鉴稀疏发放网络的思想，还可以通过提供具有先天神经回路功能和学习规则的神经形态芯片来实现。
解决具身图灵测试的路线图
如何开发通过具身图灵测试的人工系统？一种自然的方法是循序渐进地这样做，以我们的进化史为指导。例如，几乎所有的动物都进行有目标的运动；它们倾向于某些刺激（例如食物来源）并远离其它刺激（例如威胁）。在这些基础能力之上是更复杂的技能，例如结合不同感官信息流（例如视觉和嗅觉）的能力，使用这些感官信息来区分食物来源和威胁，导航到以前的位置，权衡可能实现目标的奖励和威胁，并以精确的方式与世界互动以服务于这些目标。大多数这些——以及许多其它——复杂的能力，在某种程度上甚至在非常简单的生物体中都可以找到，比如蠕虫。在更复杂的动物中，例如鱼类和哺乳动物，这些能力被详细阐述并与新策略相结合，以实现更强大的行为策略。
这种进化观点提出了一种解决具身图灵测试的策略，方法是将其分解为一系列相互依赖的增量挑战，并在该系列上迭代优化（Cisek 和 Hayden，2022）。此外，代表解决中低级挑战的生物可能包括蠕虫、苍蝇、鱼、啮齿动物和灵长类动物，它们是神经科学研究中广泛使用的系统。这将使我们能够利用我们积累的关于这些模式生物行为背后的回路和机制的大量知识。这项研究的大部分可以在计算机上进行，使用虚拟环境和虚拟动物（Merel、Botvinick 和 Wayne，2019；Merel 等人，2019）。为了达到所需的行为灵活性水平，通过具身图灵测试的人工系统将面临一系列特定物种测试的挑战，这些测试将探索自我监督学习、持续学习、迁移学习、元学习和终身记忆。这些挑战可以标准化以允许量化进展。最终，成功的虚拟生物可以通过在机器人技术方面的额外努力来适应物理世界，并用于解决现实世界的问题。
我们需要什么
实现这些目标将需要大量资源，还需要在传统人工智能和神经科学之外的许多学科做出贡献，包括心理学、工程学、语言学等。除了简单地利用这些领域的现有专业知识之外，**当务之急是培养新一代的在工程/计算科学和神经科学方面同样擅长的人工智能研究人员。**这些研究人员将利用神经科学数十年的进展，为人工智能研究制定全新的方向。最大的挑战将是确定如何利用神经科学、计算科学和其它相关领域的协同作用和重叠来推进我们的探索：确定大脑回路、生物物理学和化学的哪些细节是重要的，哪些在应用中对人工智能可以忽略。因此，迫切需要在不同领域接受过适当培训的研究人员以使其适用于计算机的方式抽象神经科学知识，并帮助设计实验以产生与人工智能相关的新神经生物学见解。该研究计划的成功取决于具有神经科学和人工智能专业知识的研究人员社区的形成。此外，新培训计划的明确设计可以确保神经人工智能研究社区反映整个社会的人口统计数据。
其次，**我们需要创建一个能够开发和测试这些虚拟智能体的共享平台。**在创建迭代、具身图灵测试和进化人工生物来解决它时，我们将面临的最大技术挑战之一是所需的计算能力。目前，仅针对单个具身任务（例如在 3 维空间中控制身体）训练一个大型神经网络模型可能需要在专门的分布式硬件上的数天时间（Liu 等人，2021）。为了让多个研究小组在越来越复杂的具身图灵任务上迭代地协同工作，以优化和评估多代的大量智能体，将需要对共享计算平台进行大量投资。就像物理学中的粒子加速器或天文学中的大型望远镜一样，这种大规模的共享资源对于推动受大脑启发的人工智能研究议程至关重要。这将需要在政府和最好的行业支持下进行重大的组织努力，其核心目标是在动物和类人智能方面取得科学进步。
第三，我们需要支持神经计算的基础理论和实验研究。在过去的几十年里，通过 NIH 的努力，在很大程度上归功于 BRAIN Initiative 和其他主要资助者的努力，我们已经了解了大量关于大脑的知识，现在我们正在了解大脑的巨大多样性。单细胞元件、神经元，以及它们如何作为简单回路的一部分发挥作用。有了这些构建块，我们准备将注意力转移到理解大脑如何作为一个集成智能系统发挥作用。这将需要深入了解千亿个不同类型的神经元是如何连接在一起的，每个神经元都与数千个其他神经元进行通信，具有可变的、可适应的连接，以及计算能力——智能——的出现。我们必须对大脑进行逆向工程以抽象出基本原理。请注意，虚拟智能体的开发本身将通过允许在真实动物和“计算机”动物的实验之间进行直接比较来极大地加速这项工作，这些努力将提供对稳定控制、灵活行为、能量效率和智能行为所必需的神经回路级属性和机制的洞察。利用神经科学和人工智能之间强大的协同作用的优势，将需要项目和基础设施的支持来组织和实现大规模跨学科的研究。
幸运的是，华盛顿特区现在达成了两党协议，即人工智能研究的投资对于美国的技术未来至关重要。整个社区范围内，为连接神经科学和人工智能领域所做的努力，将需要联邦资源的稳定投资以及监督项目里程碑、商业化支持、道德规范和对创新理念的大赌注。目前有一些联邦资源，例如 NSF 的国家人工智能研究所，明确致力于从神经科学研究中推动人工智能的创新和发现，但这些主要是为了支持传统的学术模型，不同的小组研究不同的问题，而不是创建一个集中的工作，可以创建类似于具身图灵测试的东西。同样，人工智能支持赠款主要是通过 NIH、NSF、DoD 甚至 EPA 提供的辅助项目——每个项目都有自己的指令和目标。这本身就为技术开发留下了巨大的资金缺口。通过现有实体或作为独立机构创建总体指令，以支持 神经人工智能 和 AI 研究将推动这一使命，巩固美国政府作为 AI 研发的国际领导者的地位。
结论
尽管神经科学有推动人工智能进步的悠久历史以及未来发展的巨大潜力，但该领域的大多数工程师和计算科学家并未意识到历史和机遇。神经科学对塑造冯·诺依曼、图灵和其他计算理论巨头的思想的影响，在典型的计算机科学课程中很少提及。前沿的 AI 会议，例如 NeurIPS，曾经展示了计算神经科学和机器学习的最新进展，现在几乎完全专注于后者。甚至一些意识到神经科学在塑造该领域的历史重要性的研究人员，也经常争辩说，它已经失去了相关性。“工程师不研究鸟类来制造更好的飞机”是常见的说法。但这个类比是不正确的，部分原因是航空先驱确实研究过鸟类（Lilienthal，1911；Culick，2001），而且有些人仍然在研究（Shyy 等人，2008；Akos 等人，2010）。此外，这个类比在更根本的层面上也失败了：现代航空工程的目标不是实现“鸟类级别”的飞行，而人工智能的主要目标确实是实现（或超过）“人类级别”的智能。正如计算机在许多方面都超过了人类，例如计算素数的能力，飞机在速度、航程和载货量等特性上也超过了鸟类。但是，如果航空工程师的目标确实是制造一种具有“鸟类级别”能力的机器，可以飞过茂密的森林树叶并在树枝上轻轻降落，那么他们最好密切关注鸟类是如何做到的。同样，如果人工智能旨在实现动物水平的常识感觉运动智能，那么建议研究人员向动物学习，以及它们在不可预测的世界中进化出的解决方案。
参考文献
Akos, Zsuzsa, Máté Nagy, Severin Leven, and Tamás Vicsek. 2010. “Thermal Soaring Flight of Birds and Unmanned Aerial Vehicles.” Bioinspiration & Biomimetics 5 (4): 045003.
Attwell, D., and S. B. Laughlin. 2001. “An Energy Budget for Signaling in the Grey Matter of the Brain.” Journal of Cerebral Blood Flow and Metabolism: Official Journal of the International Society of Cerebral Blood Flow and Metabolism 21 (10): 1133–45.
Bommasani, Rishi, Drew A. Hudson, Ehsan Adeli, Russ Altman, Simran Arora, Sydney von Arx, Michael S. Bernstein, et al. 2021. “On the Opportunities and Risks of Foundation Models.” arXiv [cs.LG]. arXiv. http://arxiv.org/abs/2108.07258.
Brown, Tom, Benjamin Mann, Nick Ryder, Melanie Subbiah, Jared D. Kaplan, Prafulla Dhariwal, Arvind Neelakantan, Pranav Shyam, Girish Sastry, and Amanda Askell. 2020. “Language Models Are Few-Shot Learners.” Advances in Neural Information Processing Systems 33: 1877–1901.
Campbell, Murray, A. Joseph Hoane, and Feng-Hsiung Hsu. 2002. “Deep Blue.” Artificial Intelligence 134 (1): 57–83.
Cisek, Paul, and Benjamin Y. Hayden. 2022. “Neuroscience Needs Evolution.” Philosophical Transactions of the Royal Society of London. Series B, Biological Sciences 377 (1844): 20200518.
Culick, Fred. 2001. “What the Wright Brothers Did and Did Not Understand about Flight Mechanics - In Modern Terms.” In 37th Joint Propulsion Conference and Exhibit. Joint Propulsion Conferences. American Institute of Aeronautics and Astronautics.
Davies, Mike, Narayan Srinivasa, Tsung-Han Lin, Gautham Chinya, Yongqiang Cao, Sri Harsha Choday, Georgios Dimou, et al. 2018. “Loihi: A Neuromorphic Manycore Processor with On-Chip Learning.” IEEE Micro 38 (1): 82–99.
DeBole, Michael V., Brian Taba, Arnon Amir, Filipp Akopyan, Alexander Andreopoulos, William P. Risk, Jeff Kusnitz, et al. 2019. “TrueNorth: Accelerating From Zero to 64 Million Neurons in 10 Years.” Computer 52 (5): 20–29.
Dobrunz, L. E., and C. F. Stevens. 1997. “Heterogeneity of Release Probability, Facilitation, and Depletion at Central Synapses.” Neuron 18 (6): 995–1008.
Gupta, Agrim, Silvio Savarese, Surya Ganguli, and Li Fei-Fei. 2021. “Embodied Intelligence via Learning and Evolution.” Nature Communications 12 (1): 5721.
Hassabis, Demis, Dharshan Kumaran, Christopher Summerfield, and Matthew Botvinick. 2017. “Neuroscience-Inspired Artificial Intelligence.” Neuron 95 (2): 245–58.
Huang, Sandy, Nicolas Papernot, Ian Goodfellow, Yan Duan, and Pieter Abbeel. 2017. “Adversarial Attacks on Neural Network Policies.” arXiv [cs.LG]. arXiv. http://arxiv.org/abs/1702.02284.
Hubel, D. H., and T. N. Wiesel. 1962. “Receptive Fields, Binocular Interaction and Functional Architecture in the Cat’s Visual Cortex.” The Journal of Physiology. https://doi.org/10.1113/jphysiol.1962.sp006837.
Itti, L., C. Koch, and E. Niebur. 1998. “A Model of Saliency-Based Visual Attention for Rapid Scene Analysis.” IEEE Transactions on Pattern Analysis and Machine Intelligence 20 (11): 1254–59.
Kosoy, Eliza, Adrian Liu, Jasmine L. Collins, David Chan, Jessica B. Hamrick, Nan Rosemary Ke, Sandy Huang, Bryanna Kaufmann, John Canny, and Alison Gopnik. 11–13 Apr 2022. “Learning Causal Overhypotheses through Exploration in Children and Computational Models.” In Proceedings of the First Conference on Causal Learning and Reasoning, edited by Bernhard Schölkopf, Caroline Uhler, and Kun Zhang, 177:390–406. Proceedings of Machine Learning Research. PMLR.
Koulakov, Alexei, Sergey Shuvaev, Divyansha Lachi, and Anthony Zador. 2022. “Encoding Innate Ability through a Genomic Bottleneck.” bioRxiv. https://doi.org/10.1101/2021.03.16.435261.
Larochelle, Hugo, and Geoffrey Hinton. 2010. “Learning to Combine Foveal Glimpses with a Third-Order Boltzmann Machine.” Advances in Neural Information Processing Systems 23. Learning to combine foveal glimpses with a third-order Boltzmann machine.
LeCun, Yann, and Yoshua Bengio. 1995. “Convolutional Networks for Images, Speech, and Time Series.” The Handbook of Brain Theory and Neural 3361 (10). http://www.iro.umontreal.ca/~lisa/pointeurs/handbook-convo.pdf.
Lennie, Peter. 2003. “The Cost of Cortical Computation.” Current Biology: CB 13 (6): 493–97. Lilienthal, Otto. 1911. Birdflight as the Basis of Aviation: A Contribution Towards a System of Aviation,
Compiled from the Results of Numerous Experiments Made by O. and G. Lilienthal. Longmans, Green.
Liu, Siqi, Guy Lever, Zhe Wang, Josh Merel, S. M. Ali Eslami, Daniel Hennes, Wojciech M. Czarnecki, et al. 2021. “From Motor Control to Team Play in Simulated Humanoid Football.” arXiv [cs.AI]. arXiv. From Motor Control to Team Play in Simulated Humanoid Football.
Ma, Wei Ji, Jeffrey M. Beck, Peter E. Latham, and Alexandre Pouget. 2006. “Bayesian Inference with Probabilistic Population Codes.” Nature Neuroscience 9 (11): 1432–38.
McCulloch, Warren S., and Walter Pitts. 1943. “A Logical Calculus of the Ideas Immanent in Nervous Activity.” The Bulletin of Mathematical Biophysics 5 (4): 115–33.
Merel, Josh, Diego Aldarondo, Jesse Marshall, Yuval Tassa, Greg Wayne, and Bence Ölveczky. 2019. “Deep Neuroethology of a Virtual Rodent.” arXiv [q-bio.NC]. arXiv. http://arxiv.org/abs/1911.09451.
Merel, Josh, Matthew Botvinick, and Greg Wayne. 2019. “Hierarchical Motor Control in Mammals and Machines.” Nature Communications 10 (1): 5489.
Mnih, Volodymyr, Koray Kavukcuoglu, David Silver, Andrei A. Rusu, Joel Veness, Marc G. Bellemare, Alex Graves, et al. 2015. “Human-Level Control through Deep Reinforcement Learning.” Nature 518 (7540): 529–33.
Moravec, Hans. 1988. Mind Children: The Future of Robot and Human Intelligence. Harvard University Press.
Patterson, David, Joseph Gonzalez, Quoc Le, Chen Liang, Lluis-Miquel Munguia, Daniel Rothchild, David So, Maud Texier, and Jeff Dean. 2021. “Carbon Emissions and Large Neural Network Training.” arXiv [cs.LG]. arXiv. Carbon Emissions and Large Neural Network Training.
Pehlevan, Cengiz, and Dmitri B. Chklovskii. 2019. “Neuroscience-Inspired Online Unsupervised Learning Algorithms: Artificial Neural Networks.” IEEE Signal Processing Magazine 36 (6): 88–96.
Rescorla, R. A. 1972. “A Theory of Pavlovian Conditioning : Variations in the Effectiveness of Reinforcement and Nonreinforcement.” Current Research and Theory, 64–99.
Roy, Kaushik, Akhilesh Jaiswal, and Priyadarshini Panda. 2019. “Towards Spike-Based Machine Intelligence with Neuromorphic Computing.” Nature 575 (7784): 607–17.
Schultz, W., P. Dayan, and P. R. Montague. 1997. “A Neural Substrate of Prediction and Reward.”Science 275 (5306): 1593–99.
Sejnowski, Terrence. 2022. “Large Language Models and the Reverse Turing Test.” arXiv [cs.CL]. arXiv. http://arxiv.org/abs/2207.14382.
Shyy, Wei, Yongsheng Lian, Jian Tang, Dragos Viieru, and Hao Liu. 2008. Aerodynamics of Low Reynolds Number Flyers.
Silver, David, Aja Huang, Chris J. Maddison, Arthur Guez, Laurent Sifre, George van den Driessche, Julian Schrittwieser, et al. 2016. “Mastering the Game of Go with Deep Neural Networks and Tree Search.” Nature 529 (7587): 484–89.
Sinz, Fabian H., Xaq Pitkow, Jacob Reimer, Matthias Bethge, and Andreas S. Tolias. 2019. “Engineering a Less Artificial Intelligence.” Neuron 103 (6): 967–79.
Sokoloff, Louis. 1960. “The Metabolism of the Central Nervous System in Vivo.” Handbook of Physiology, Section I, Neurophysiology 3: 1843–64.
Stanley, Kenneth O., Jeff Clune, Joel Lehman, and Risto Miikkulainen. 2019. “Designing Neural Networks through Neuroevolution.” Nature Machine Intelligence 1 (1): 24–35.
Stöckl, Christoph, Dominik Lang, and Wolfgang Maass. 2022. “Structure Induces Computational Function in Networks with Diverse Types of Spiking Neurons.” bioRxiv. https://doi.org/10.1101/2021.05.18.444689.
Thorndike, L., and Darryl Bruce. 2017. Animal Intelligence: Experimental Studies. Routledge. Turing, A. M. 1950. “I.—COMPUTING MACHINERY AND INTELLIGENCE.” Mind; a Quarterly Review of Psychology and Philosophy LIX (236): 433–60.
Vaswani, Ashish, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Łukasz Kaiser, and Illia Polosukhin. 2017. “Attention Is All You Need.” Advances in Neural Information Processing Systems 30. https://proceedings.neurips.cc/paper/7181-attention-is-all-you-need.
Von Neumann, John. 2012. The Computer and the Brain. 3rd ed. Yale University Press. https://doi.org/10.12987/9780300188080.
Xu, K., J. Ba, R. Kiros, K. Cho, and A. Courville. 2015. “Show, Attend and Tell: Neural Image Caption Generation with Visual Attention.” International. Show, Attend and Tell: Neural Image Caption Generation with Visual Attention.
Zador, Anthony M. 2019. “A Critique of Pure Learning and What Artificial Neural Networks Can Learn from Animal Brains.” Nature Communications 10 (1): 3770.
术语翻译对照表
circuit 回路
agent 智能体
embodied, embodiment，具身的、具身化
spike, spiking 发放（脉冲）