TEM：机器学习模型揭示大脑怎样整合空间记忆与关系记忆｜周日直播NeuroAI读书会

神经科学和人工智能领域的多位著名学者近日发表 NeuroAI 白皮书认为，神经科学长期以来一直是推动人工智能（AI）发展的重要驱动力，NeuroAI 领域的基础研究将推动下一代人工智能的进程。文章发表后引发热议：神经科学是否推动了人工智能？未来的人工智能是否需要神经科学？

本着促进神经科学、计算机科学、认知科学和脑科学等不同领域的学术工作者的交流与合作，集智俱乐部联合北京师范大学柳昀哲、北京大学鲍平磊和昌平实验室吕柄江三位研究员共同发起了「NeuroAI」读书会，聚焦在视觉、语言和学习领域中神经科学与人工智能的相关研究，期待能够架起神经科学与人工智能领域的合作桥梁，激发跨学科的学术火花。

读书会线上进行，11月27日开始，每周日晚上19:00-21:00，持续时间预计10周。读书会详情及参与方式见后文。

分享内容简介

学习智能的核心问题是如何构建高效的状态空间，TEM给出了一个从感知觉输入构建状态空间的案例。TEM的架构分解了感知觉表征、状态空间表征和关系记忆，当环境发生变化而任务结构不变的情况下，TEM能快速的泛化以适应新环境。从生物智能的角度，TEM的设计与生物大脑海马结构的组织方式高度对应，分析TEM的表征和计算关系，帮助我们更好的理解生物大脑如何统一处理空间任务和关系型任务，以及各种类型细胞的表征和计算原则是什么。

分享内容大纲

背景回顾：认知地图，关系推理，结构泛化

TEM的架构、算法

TEM的任务表现

从模型到大脑：理解海马组织的功能

模型比较：SR、 CSCG、 SMP

主要涉及的核心概念

认知地图（cognitive map）

空间导航、关系推理（spatial navigation、relational inference）

位置细胞、网格细胞（Place cell、Grid cell）

推理、泛化（inference、 generalization）

分解、结合（factorization、conjunction）

相关脑区：海马体、内嗅皮层、外嗅皮层（HC、 MEC、 LEC）

相关算法：Sleep-wake algorithm，VAE，Transformer

其他模型：SR（Successive Representation），CSCG（Clone-Structured Cognitive Graph），SMP（Spatial Memory Pipeline）

主讲人介绍

曹红星

2014年于中国科学技术大学获硕士学位，研究方向为形式化方法与高可信软件验证。2020年至今为北京师范大学在读博士，研究方向为情感计算与认知神经科学。

郑晖

2021年于武汉大学获得学士学位。2021年至今为北京大学在读博士，研究方向为认知地图与神经重放的计算机制、神经重放的解码算法。

个人主页：https://fassial.github.io/

时间

2023年2月29日（本周日）

晚上19:00-21:00

参与方式

本次分享与读书会主题之间的关系

本次分享涉及学习智能模块的一个子问题：如何从感知觉任务学习高效的状态空间。文章用机器学习算法，对应大脑的组织结构，构建了一个模型来学习任务的状态空间，并进一步分析模型的任务表征和计算关系，帮助理解大脑的功能。

主要涉及到的参考文献

[1] Whittington, James CR, et al. "The Tolman-Eichenbaum machine: unifying space and relational memory through generalization in the hippocampal formation." Cell 183.5 (2020): 1249-1263.

[2] Whittington, J. C., Dorrell, W., Ganguli, S., & Behrens, T. E. (2022). Disentangling with Biological Constraints: A Theory of Functional Cell Types. arXiv preprint arXiv:2210.01768.

[3] Dorrell, W., Latham, P. E., Behrens, T. E., & Whittington, J. C. (2022). Actionable Neural Representations: Grid Cells from Minimal Constraints. arXiv preprint arXiv:2209.15563.

[4] Whittington, J. C., McCaffary, D., Bakermans, J. J., & Behrens, T. E. (2022). How to build a cognitive map. Nature Neuroscience, 25(10), 1257-1272.

[5] Stachenfeld, K. L., Botvinick, M. M., & Gershman, S. J. (2017). The hippocampus as a predictive map. Nature neuroscience, 20(11), 1643-1653.

[6] George, D., Rikhye, R. V., Gothoskar, N., Guntupalli, J. S., Dedieu, A., & Lázaro-Gredilla, M. (2021). Clone-structured graph representations enable flexible learning and vicarious evaluation of cognitive maps. Nature communications, 12(1), 2392.

[7] Uria, B., Ibarz, B., Banino, A., Zambaldi, V., Kumaran, D., Hassabis, D., ... & Blundell, C. (2020). The Spatial Memory Pipeline: a model of egocentric to allocentric understanding in mammalian brains. BioRxiv, 2020-11.

[8] Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., ... & Polosukhin, I. (2017). Attention is all you need. Advances in neural information processing systems, 30.

[9] Vaswani A, Shazeer N, Parmar N, et al. Attention is all you need[J]. Advances in neural information processing systems, 2017, 30.

https://github.com/djcrw/generalising-structural-knowledge

https://github.com/jbakermans/torch_tem

神经科学和人工智能领域的多位著名学者近日发表 NeuroAI 白皮书认为，神经科学长期以来一直是推动人工智能（AI）发展的重要驱动力，NeuroAI 领域的基础研究将推动下一代人工智能的进程。文章发表后引发热议：神经科学是否推动了人工智能？未来的人工智能是否需要神经科学？

本着促进神经科学、计算机科学、认知科学和脑科学等不同领域的学术工作者的交流与合作，集智俱乐部联合北京师范大学柳昀哲、北京大学鲍平磊和昌平实验室吕柄江三位研究员共同发起了「NeuroAI」读书会，聚焦在视觉、语言和学习领域中神经科学与人工智能的相关研究，期待能够架起神经科学与人工智能领域的合作桥梁，激发跨学科的学术火花。