首页
学习
活动
专区
圈层
工具
发布

让AI像大脑一样成长:时序发育机制实现跨领域持续学习 | NSR

儿童大脑以极低功耗不断学习,而人工神经网络的提升伴随着模型扩张,如何引入大脑发育机制以实现高效持续学习仍不清楚。现在,中国科学院自动化研究所曾毅研究员团队在《国家科学评论》提出了一种跨脑区时序发育启发的持续学习框架 TD-MCL,实现网络规模降低的同时跨领域持续学习。

人工智能是如何不断提升自身能力的?长期以来,扩大模型规模被认为是提升人工神经网络性能的重要方式,但也带来了能耗和计算成本不断上升的现实挑战。与此不同,人类大脑在发育过程中并非持续增加连接密度,而是在不断“修剪”的同时,仍能持续获得新的认知能力。

受此启发,研究团队提出了一种时序发育启发的脉冲神经网络持续学习框架 TD-MCL。通过不同区域连接的时序建立和重组,该方法在网络规模不断减小的同时,实现了感知—运动—交互等多任务场景下由简入繁的持续学习,为构建低能耗、可持续演化的通用认知智能提供了新的思路。

大脑时序发育机制启发的多认知功能持续学习算法

A)儿童认知功能发展与大脑结构发育的对应关系B)多认知功能持续学习数据集范式C)高效持续多认知功能学习算法流程概述D)融合生物突触可塑性与知识泛化的局部连接抑制与剪枝E)基于进化算法的长程连接生长

时序发育启发的持续学习机制

研究表明,大脑发育遵循清晰的时序规律:连接先增长后精简,跨脑区长程连接逐步增强、局部连接被选择性修剪;基础脑区先成熟并支撑高级认知,而高级认知的反馈又反向优化低级脑区结构。与此相伴,婴幼儿由简入繁持续学习多种认知功能。基于此,时序发育启发的持续学习方法被提出。

该方法允许脉冲神经网络中的认知模块随着感知、运动和交互任务的学习顺序逐步生长,并通过跨区域长程连接的演化,促进已有知识在新任务中的复用。同时,研究人员引入反馈机制,对早期任务中冗余的局部连接进行抑制与修剪,使网络结构在演化过程中不断精简。

低能耗跨领域持续学习

研究团队发现,该方法在感知、运动和交互等多类认知任务中均表现出稳定而优异的持续学习能力,并在多个通用持续学习基准数据集上取得领先性能。实验结果显示,模型能够沿着“由简入繁”的路径逐步学习复杂任务,且优于直接训练或直接剪枝的学习方式。即便在网络规模不断缩小的情况下,模型仍能有效保持对已学任务的记忆,显著缓解灾难性遗忘,并在此基础上持续获得新的认知能力。

进一步分析表明,这一性能提升源于网络内部呈现出的类脑动态变化:随着学习推进,局部连接先快速增长、随后被选择性抑制与修剪,从而减少对新任务无关或干扰性的旧知识;而跨脑区的长程连接则持续增强,用于支持对具有共享结构和语义的已有知识进行选择性复用。更重要的是,这一过程无需依赖正则化、经验重放或权重冻结等传统连续学习策略。研究人员指出,这一类脑发育机制以高效、低能耗的方式提升记忆与学习,揭示了大脑发展规律在推动新一代人工智能中的潜在作用。

  • 发表于:
  • 原文链接https://page.om.qq.com/page/ODMDQse71Iryqq3xb-z-fRTA0
  • 腾讯「腾讯云开发者社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 cloudcommunity@tencent.com 删除。

相关快讯

领券