混合智能概念与新进展

来源:《中国人工智能学会通讯》2017年第2期

科技前沿

CAAI 2017年 第7卷 第2期吴朝晖，潘 纲，王跃明

混合智能概念与新进展

脑科学以阐明脑的工作原理为目标 , 近年来已成为最重要的科学前沿领域之一。脑功能计算、脑智能模仿再度成为学术界和产业界热议话题 [1-4]。欧盟、美国、日本相继启动了大型脑研究计划，强有力推动了人们对脑结构、脑功能和脑智能的探索和认识；另一方面，人工智能研究风起云涌，最近一个标志性事件是谷歌的 AlphaGo 以4:1 战胜围棋世界冠军李世石 [5]，实现了围棋人工智能领域史无前例的突破。2016 年9 月斯坦福大学发布了《2030 年的人工智能与生活》报告 [6]，全面评估了当前人工智能的进展、挑战、机遇与展望。然而，在脑神经科学领域，要完全弄清楚脑智能还比较遥远；而从人工智能角度看，目前AI 的高级认知功能还远弱于人类自身。人类智能 ( 脑）和机器智能 ( 人工智能 ) 从不同的起点研究智能问题，伴随着相互影响、相互促进的深入，有望实现两者汇聚，启发人们从多个角度探索更强智能的可能。

近年来，以脑机接口为代表的神经技术突破使得脑与计算机之间的结合越来越紧密，脑机融合及其一体化已成为未来计算技术发展的一个重要趋势。研究生物脑（生物智能）与机器脑（人工智能）深度融合并协同工作的新型智能系统，是当前人工智能与脑认知科学交叉领域面临的重要课题，在神经康复、生物机器人等关系到国计民生和国家安全的领域具有重大应用需求。

混合智能概念

近半个多世纪的人工智能研究表明，机器在搜索、计算、存储、优化等方面具有人类无法比拟的优势，然而在感知、推理、归纳和学习等方面尚无法与人类智能相匹敌。鉴于机器智能与人类智能的互补性，我们多年前提出了混合智能 (CyborgIntelligence，CI) 的研究新思路 [7-8]。 即，将智能研究扩展到生物智能和机器智能的互联互通，融合各自所长，创造出性能更强的智能形态。如图 1 所示，混合智能是以生物智能和机器智能的深度融合为目标，通过相互连接通道，建立兼具生物 ( 人类 )智能体的环境感知、记忆、推理、学习能力和机器智能体的信息整合、搜索、计算能力的新型智能系统。

图 1 混合智能：新型智能形态

比传统的仿生学 (bionic) 或生物机器人(biorobot) 更进一步，混合智能系统要构建一个双向闭环的既包含生物体，又有人工智能电子组件的有机系统。其中，生物体组织可以接受人工智能体的信息，人工智能体可以读取生物体组织的信息，两者信息无缝交互。同时，生物体组织对人工智能体的改变具有实时反馈，反之亦然。混合智能系统不再仅仅是生物与机械的融合体 [9]，而是同时融合生物、机械、电子、信息等多领域因素的有机整体，实现系统的行为、感知、认知等能力的增强。

近年来，我们在国家“973”计划“脑机融合感知和认知的计算理论与方法”的支持下，聚焦于生物与机器感知、行为层的融合，借助脑机接口技术，通过研究其中感知 - 运动整合过程中大脑信息的输入输出表征与编解码、混合智能基本融合框架的设计与构建、感知与行为层的双向闭环脑机融合技术等，探索了混合智能的行为与感知增强。

为促进混合智能这一新研究方向在国内外的交流与发展，我们陆续举办了多项 学 术 活 动。2013 年， 邀 请 图 灵 奖 获 得者 Raj Reddy 等多位国际知名学者在 IEEEIntelligent Systems 期刊上撰文，围绕混合智能等展开专题讨论 [10]；2013 年 10 月，在中国计算机大会上举办了“脑机融合与混合智能”专题论坛；2014 年 7 月，在北京举办了“Neuromorphic Systems and CyborgIntelligence”国际研讨会；继而创建成立了中国人工智能学会脑机融合与生物机器智能专业委员会，并同期举办中国人工智能学会“脑机融合与类脑计算”学科前沿讲习班；2014 年底，组织了 IEEE IntelligentSystems 的“混合智能”专刊 [11]。2015 年8 月，举办了 IEEE 计算智能分会“神经拟态与混合智能系统”国际暑期研讨班 [12]；2016年7月，在温哥华举办了“NeuromorphicComputing and Cyborg Intelligence”国际研讨会等。

研究进展

从混合智能的计算体系角度，我们围绕感知增强、认知增强及闭环交互三个角度展开研究与探索。具体而言，分别研制了视听觉增强的大鼠机器人、学习增强大鼠机器人，以及癫痫预测 - 抑制大鼠闭环系统，同时还研制了混合智能的软硬件支撑平台Cyborgware。

基于“生物与机器的智能之间存在层次对应关系”的假设，我们前期曾提出混合智能的一个层次化概念框架 [8]，如图 2 所示。提出的层次化框架中，将生物体智能处理体系分为意图层、决策层、感知与行为层，将机器智能体系也分为目标层、任务规划层、感知与执行层。生物与机器之间，同层内功能可以相互混合调用，上下层之间功能也可以相互混合调用，形成混合感知、混合计算、混合执行等多层次多尺度的智能融合。基于所提的混合智能三层体系结构，在大鼠平台上，构建了视听觉增强、学习增强、癫痫预测 - 抑制闭环混合智能系统，并研制了所需的软硬件支撑平台Cyborgware。

图 2 混合智能三层体系结构 ( 视听觉增强大鼠机器人、

学习增强大鼠机器人和癫痫预测 - 抑制大鼠闭环系

统三种不同的层次互联及调用关系 )

混合感知视听觉增强大鼠机器人

面向混合智能三层体系结构的感知行为层与机器端任务规划层的相互调用目标，我们构建了听视觉增强的大鼠机器人 [13]。该工作将计算机的听视觉识别能力“嫁接”到大鼠上，实现复杂环境中大鼠机器人的精确导航，达到以机器智能增强生物智能。生物体和机器在感知能力上各有优劣。机器某些具有优势的感知能力可以弥补生物体自身的不足，即以机器智能增强生物智能。如图 3 所示，我们将计算机视觉理解、计算机语音识别这两种分别代表视觉与听觉的机器智能感知方式，融合到大鼠生物体，建立了听视觉增强的脑机融合混合智能原型系统 [14]。

图 3 视听觉增强大鼠机器人

学习增强大鼠机器人

基于感知、决策与行为层互联互调，我们构建了学习增强大鼠机器人。通过行为学实验发现，混合智能的大鼠比单纯生物大鼠表现出更好的迷宫探索能力，如图 4所示。我们设计了多种复杂的迷宫求解任务，分别让纯生物大鼠自由探索、纯计算机算法探索、混合智能 ( 计算机辅助 ) 的大鼠探索。实验结果表明，以探索步数及覆盖率进行性能衡量，混合智能的大鼠比纯生物大鼠的表现好，也比纯计算机探索的表现好。首次为混合智能的智能增强提供了行为学的验证 [15]，揭示了机器智能能增强生物体的感认知能力，部分回答了脑机融合后是否能获得智能增强的疑问。

图 4 学习增强大鼠机器人 [15]

癫痫预测 - 抑制大鼠闭环系统

双向互适应机制是混合智能系统的核心要素。我们研究并构建了脑机互适应的癫痫实时预测与调控双向闭环系统 [16]，实现了从大脑皮层读取神经信号、对信号进行在线解码、进而将调控信息实时输入到大脑皮层的闭环过程，如图 5 所示。此工作探索了动物平台的“癫痫预测 - 电刺激抑制”脑机互适应融合机制。一方面，机器从生物读取信息，智能感知脑的状态以适应脑的变化；另一方面，机器向生物输入随大脑状态变化的调控信号，由于脑对外部输入具有可塑性，从而形成脑对外部刺激的适应。

图 5 癫痫检测 - 抑制闭环系统的各分系统

混合智能支撑平台 Cyborgware

为了能够更加方便、快速地构建一个混合智能系统并支撑其运行，我们特别研制了混合智能软硬件支撑平台 Cyborgwarev1.0。目前的版本支持大鼠机器人混合智能系统的构建，主要功能包括大鼠行为仿真运行环境、大鼠自动训练模块、视听觉感知模块、脑机融合控制决策模块、神经微电刺激背包等。为了让系统开发人员更加便捷地进行系统开发，我们还针对混合智能特点，设计了一种新型的脚本编程语言 Cyboript，可更好支持脑机混合编程中的异步机制与消息反馈机制。目前正将 Cyborgware 逐步扩展对非人灵长类动物，以及对人的支持。

Cyborgware 平台需要能够更加平滑地连接生物神经系统，而生物神经系统主要以脉 冲 神 经 网 络（Spiking Neural Networks，SNN）方式工作，为此，我们于 2015 年研制成功一款 SNN 芯片 [17]，如图 6 所示。该芯片是 Cyborgware 平台的重要组成部分，目前支持基于 LIF 神经元模型的 SNN 建模，单核版本包括 8 个物理神经元，通过时分复用技术，最多可支持 2 048 个神经元、400万个神经突触和 15 个不同突触延迟。由于采用的流片工艺不高（180 nm CMOS 工艺），目前仅支持最高运行频率70MHz。相比较地，IBM 的 TrueNorth 芯片采用最先进的 28 nm工艺，但每个核仅有一个物理神经元，通过时分复用技术支持最多 256 个神经元 [18]。

图 6 脉冲神经网络芯片——“达尔文”

应用与挑战

随着信息技术、神经科学、材料科学等的快速发展，计算嵌入到与生物体、并与之无缝融合，将成为未来计算技术的一个重要发展趋势。混合智能即在此背景下探索生物智能与人工智能的深度协作与融合，其有望开拓形成一种非常重要的新型智能形态。

混合智能具有非常广阔的应用前景。

（1）它将为肢体运动障碍与失能人士的康复带来新仪器，例如，融入混合智能的神经智能假肢、智能人工视觉假体等。

（2）将为神经疾病患者提供全新的治疗手段，例如老年痴呆患者的记忆修补、帕金森患者的自适应深部电刺激治疗、癫痫发作的实时检测与抑制、植物人意识检测与促醒等。

（3）将为正常人感认知能力的增强带来可行的途径，例如，听视嗅等各种感官能力的增强、学习记忆能力的增强、行动能力的增强等。

（4）也将为国防安全与救灾搜索等提供重要技术支撑，例如行为可控的各种海陆空动物机器人、脑机一体化的外骨骼系统、人机融合操控的无人系统等。

作为一个新兴的研究方向，混合智能不管是在理论上还是技术上，都尚有很多方面亟待进一步研究与探索。以下例举若干混合智能未来的重要趋势与面临的关键挑战。

（1）认知增强方法。相比较运动增强与感知增强，认知增强是一个更难的问题，因为目前对运动与感知神经原理与机制的认识相对比较清楚，但对认知神经原理与机制则了解相对较少，认知过程也更加复杂，例如学习、记忆等。如何充分利用当前认知神经机制方面的研究成果实现认知增强是一个巨大挑战。

（2）脑机融合互学习互适应。大脑神经系统的一个重要特性是可塑性，而机器也具有一定的学习能力，由于脑与机的学习方式的差异，使得学习能力无法直接融合。如何让脑与机在系统层面实现在线相互学习相互适应，达到更高级的脑机融合，是混合智能未来发展的一个重要趋势。

（3）神经环路与网络的层间交互。在神经系统的层次化计算框架中，从神经元到神经集群、再到神经环路，机理相对清楚，但从神经环路到大的神经网络，因为涉及更广泛的神经区域，过程极为复杂，目前研究相对有限。因此两层之间的交互方式与技术也有待重点攻克。

（4）生物相容性电子器件。生物自身的排异生理特性使得一般电子器件难以长久地保持与生物系统畅通连接。混合智能最终目标是达到脑机一体化的融合程度，设计实现生物相容优秀的各种电子材料与器件，是构建真正实用的脑机一体化混合智能系统的关键所在。

项目资助：国家“973”项目 (2013CB329500)。

参考文献

[1] Y. LeCun, Y. Bengio, and G. Hinton, "Deep Learning," in Nature, 2015.

[2] Y. Sun, Y. Chen, X. Wang, and X. Tang, "Deep Learning Face Representation by Joint Identification-Verification," Advances in Neural Information Processing Systems 27 (NIPS), 2014.

[3] C. Szegedy, W. Liu, Y. Jia, P. Sermanet, S. Reed, D. Anguelov, et al., "Going Deeper with Convolutions," in International Conference on Computer Vision and Pattern Recognition, 2014.

[4] G. E. Hinton and R. R. Salakhutdinov, "Reducing the Dimensionality of Data with Neural Networks," Science, vol. 313, pp. 504-507, 2006.

[5] Silver, David; Huang, Aja; Maddison, Chris J.; Guez, Arthur; Sifre, Laurent; Driessche, George van den; Schrittwieser, Julian; Antonoglou, Ioannis; Panneershelvam, Veda (2016). "Mastering the game of Go with deep neural networks and tree search". Nature. 529 (7587): 484-489.

[6] Peter Stone, Rodney Brooks, Erik Brynjolfsson, Ryan Calo, Oren Etzioni, Greg Hager, Julia Hirschberg, Shivaram Kalyanakrishnan, Ece Kamar, Sarit Kraus, Kevin Leyton-Brown, David Parkes, William Press, AnnaLee Saxenian, Julie Shah, Milind Tambe, and Astro Teller. "Artificial Intelligence and Life in 2030." One Hundred Year Study on Artificial Intelligence: Report of the 2015-2016 Study Panel, Stanford University, Stanford, CA, September 2016.

[7] 吴朝晖，郑能干，" 混合智能：人工智能的新方向 "，中国计算机学会通讯，8(1):59-64, 2012.

[8] W. Zhaohui, G. Pan, and N. Zheng, "Cyborg Intelligence," IEEE Intelligent Systems, vol. 28, no. 5, 2013, pp. 31-33.

[9] Manfred E. Clynes and Nathan S. Kline, "Cyborgs and Space", in Astronautics, 1960.

[10] Zhaohui Wu, Raj Reddy, Gang Pan, et al, "The convergence of machine and biological intelligence", IEEE Intelligent Systems, 28(5):28-43, Sep/Oct 2013.

[11] Zhaohui Wu, Gang Pan, Jose C. Principe, Andrzej Cichocki, "Cyborg Intelligence: Towards Bio-Machine Intelligent Systems", IEEE Intelligent Systems, 29(6):2-4, November/December 2014.

[12] http://www.cs.zju.edu.cn/~gpan/necis2015/.

[13] Y. Wang, M. Lu, G. Pan, L. Tian, K. Xu, X. Zheng, Z. Wu, "A Visual Cue-guided Rat Cyborg for Automatic Navigation", IEEE Computational Intelligence, 10(2):42-52, 2014.

[14] Zhaohui Wu, Yingchun Yang, Bingchao Xia, Zhenchuan Zhang, Gang Pan, "Speech interaction with a rat", Chinese Science Bulletin, 59(28):3579-3584, 2014.

[15] Zhaohui Wu, Nenggan Zheng, Shaowu Zhang, Xiaoxiang Zheng, Liqiang Gao, and Lijuan Su, "Maze learning by a hybrid brain-computer system", Scientific Reports, 6:31746, 2016.

[16] Y. Wang, Y. Qi, Y. Wang, Z. Lei, X. Zheng, G. Pan, "Delving into α-stable distribution in noise suppression for seizure detection from scalp EEG", J Neural Eng., 13(5):056009, 2016.

[17] Juncheng Shen, De Ma, Zonghua Gu, Ming Zhang, Xiaolei Zhu, Xiaoqiang Xu, Qi Xu, Yangjing Shen, Gang Pan, "Darwin: a Neuromorphic Hardware Co-Processor based on Spiking Neural Networks", Science China: Information Sciences, 59(2):1-5, February 2016.

[18] Paul A. Merolla, John V. Arthur, Rodrigo Alvarez-

作者介绍：吴朝晖

浙江大学校长，浙江大学计算机学院教授，杰青，“973”首席，中国人工智能学会脑机融合与生物机器智能专业委员会主任、中国计算机学会普适计算专委会主任。长期从事人工智能、服务计算等领域研究，获国家级发明二等奖、国家级科技进步二等奖。

作者介绍：潘纲

浙江大学计算机学院教授，博士生导师，中国人工智能学会脑机融合与生物机器智能专委会委员。研究方向为计算机视觉、类脑与脑机融合智能等。获 CCF\u0002IEEE CS 青年科学家奖、教育部新世纪优秀人才、国家科学技术进步二等奖 ( 第 2 完成人 )。

作者介绍：王跃明

浙江大学求是高等研究院教授，博士生导师，中国人工智能学会脑机融合与生物机器智能专委会副秘书长。研究方向为计算机视觉、数据挖掘和脑机交互。获2016 国际脑机接口创新研究提名奖、2016 吴文俊人工智能创新一等奖、2016 中国高校十大进展。

微信号：CAAI-MemberCenter

CAAI会员中心