首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
您找到你想要的搜索结果了吗?
是的
没有找到

甘利俊一 | 信息几何法:理解深度神经网络学习机制的重要工具

智源导读:深度学习的统计神经动力学主要涉及用信息几何的方法对深度随机权值网络进行研究。深度学习技术近年来在计算机视觉、语音识别等任务取得了巨大成功,但是其背后的数学理论发展却很滞后。日本理化所的Shun-ichi Amari先生(中文:甘利俊一)近期在北京智源大会上发表了题为《信息几何法:理解深度神经网络学习机制的重要工具》的演讲。在演讲中,甘利先生梳理了人工神经网络研究的部分重要历史事件,分享了近两年在深度学习理论的一些最新研究成果,指出统计神经动力学方法可以为理解深度学习提供重要的理论工具。

03

实现最小意识模型-4 自我模型和世界模型

我们在这里归类的模型都有一个共同的想法,那就是,对于一个有意识的事物来说,这个事物必须能够塑造它自己和它的世界:换句话说,有意识就是成为那种参与情境自我塑造的事物。这组理论包括综合世界建模理论(Safron,2020a,2020b,2021a,2022a,2022bSafron,atal,& Tim,2022),自我建模理论(Metzinger,2007),beast machine方法(Seth & Tsakiris,2018),生成纠缠模型(Clark,2019),感觉不确定性理论(Solms,2013),以及投射意识模型(Rudrauf等人,2017;威利福德等人,2018)。基于高阶表征的意识理论,如高阶思维(HOT) (R. Brown,Lau,& LeDoux,2019;Rosenthal,2005)和高阶知觉(Lycan,1996)理论,以及各种自我表征主义(Kriegel & Williford,2006),阐明了基于自我建模的意识观点的重要概念基础和动机。

03

「观点」网络靶场是网络空间安全科学研究、测量和分析的科学装置

DARPA(美国国防部国防高级研究计划局)当初在对网络空间靶场进行定位和构想的时候,曾提出这样的观点和定位:网络空间靶场是网络空间安全科学研究、测量和分析的科学装置。作为先进技术的构想和研究者,DARPA在网络空间安全的问题上,认为和其他科学研究的问题一样,网络空间靶场应该是研究网络空间安全科学问题的科学研究装置,或者说应该这样来定位网络空间靶场的作用。作为一门新兴的学科,网络空间安全极度缺乏在科研上进行科学研究、测量和分析的装置。其在最初的申报材料中,DARPA这样写道:从科学发展的角度看,生物学因为有了显微镜的出现而出现大发展,天文学因为有了望远镜而获得突破,粒子物理因为有了粒子加速器而实现重大进展。此外,其他各大科学技术的进步都离不开与这些科学研究过程中对其进行观察、测量和分析的工具。DARPA认为网络空间安全也应该具有类似的工具用于网络空间安全的科学研究、测量和分析,这个工具就是DARPA提出的国家网络空间靶场构想。从科学发展和历史进程层面,作为一个创新性项目(在当时来说),这样的立意和构想无疑是伟大的;而我也这样认为,网络空间靶场即可以实现网络空间安全的科学研究,也实现由此而出的科研成果转化应用,所以网络空间靶场应该是产学研用一体化的最佳载体。从整个立意和情怀层面,或者从网络空间靶场的定位层面,网络空间靶场应该是网络空间安全科学研究、测量和分析的科学装置。这样的立意足够高,定位足够清晰,大众也容易理解。

03

ECCV2020 | RecoNet:上下文信息捕获新方法,比non-local计算成本低100倍以上

上下文信息在语义分割的成功中起着不可或缺的作用。事实证明,基于non-local的self-attention的方法对于上下文信息收集是有效的。由于所需的上下文包含空间和通道方面的注意力信息,因此3D表示法是一种合适的表达方式。但是,这些non-local方法是基于2D相似度矩阵来描述3D上下文信息的,其中空间压缩可能会导致丢失通道方面的注意力。另一种选择是直接对上下文信息建模而不进行压缩。但是,这种方案面临一个根本的困难,即上下文信息的高阶属性。本文提出了一种新的建模3D上下文信息的方法,该方法不仅避免了空间压缩,而且解决了高阶难度。受张量正则-多态分解理论(即高阶张量可以表示为1级张量的组合)的启发,本文设计了一个从低秩空间到高秩空间的上下文重建框架(即RecoNet)。具体来说,首先介绍张量生成模块(TGM),该模块生成许多1级张量以捕获上下文特征片段。然后,使用这些1张量通过张量重构模块(TRM)恢复高阶上下文特征。大量实验表明,本文的方法在各种公共数据集上都达到了SOTA。此外,与传统的non-local的方法相比,本文提出的方法的计算成本要低100倍以上。

02

意识理论与精神障碍:一项比较分析

摘要:意识障碍是检验意识理论(ToCs)预测的有效方法。迄今为止,ToCs主要集中在定量意识障碍,如昏迷、植物人状态、空间忽略和偏视。相比之下,精神疾病很少受到关注,使其对意识研究的贡献几乎未被探索。因此,本文旨在评估ToCs与精神疾病之间的关系,即当前ToCs在多大程度上可以解释精神障碍。首先,回顾了将每种ToC与精神疾病联系起来的直接和间接证据。接下来,根据ToCs的理论和方法基础对其进行区分,强调它们如何独特地处理意识经验的神经、认知和现象学,进而处理精神障碍。最后,我将引用一个具体的症状来直接比较Toc的解释力。总的来说,时空意识理论(TTC)似乎为精神疾病提供了一个更全面的解释,表明可能需要一个新的意识维度(即意识形式)来解决意识经验中更多的定性变化。

01

Nature Neuroscience重磅综述:网络神经系统中的动态表征

一组神经元可以产生代表刺激信息的活动模式;随后,该小组可以通过突触将活动模式转换和传递到空间分布区域。神经科学的最新研究已经开始独立处理信息处理的两个组成部分:刺激在神经活动中的表示和模拟神经相互作用的网络中的信息传输。然而,直到最近,研究才试图将这两种方法联系起来。在这里,我们简要回顾一下这两种不同的文献;然后,我们回顾了最近在解决这一差距方面取得的进展。我们继续讨论活动模式如何从一种表示演变到另一种表示,形成在底层网络上展开的动态表示。我们的目标是提供一个整体框架来理解和描述神经信息的表达和传递,同时揭示令人兴奋的前沿领域未来的研究。

03

观点 | 在工程领域中,机器学习的数学理论基础尤为重要

近期研究人员越来越多地关注将机器学习方法应用到科学、工程应用中。这主要是受自然语言处理(NLP)和图像分类(IC)[3] 领域近期发展的影响。但是,科学和工程问题有其独特的特性和要求,对高效设计和部署机器学习方法带来了新挑战。这就对机器学习方法的数学基础,以及其进一步的发展产生了强大需求,以此来提高所使用方法的严密性,并保证更可靠、可解释的结果。正如近期当前最优结果和统计学习理论中「没有免费的午餐」定理所述,结合某种形式的归纳偏置和领域知识是成功的必要因素 [3 , 6]。因此,即使是现有广泛应用的方法,也对进一步的数学研究有强需求,以促进将科学知识和相关归纳偏置整合进学习框架和算法中。本论文简单讨论了这些话题,以及此方向的一些思路 [1 , 4 , 5]。

01

5年后AI所需算力超100万倍!十二家机构联合发表88页长文:「智能计算」是解药

---- 新智元报道   编辑:LRS 【新智元导读】AI模型所需算力每100天就要翻一倍,远超摩尔定律的18-24个月,智能计算能破局这种算力困境吗? 人工智能就是一个「拼财力」的行业,如果没有高性能计算设备,别说开发基础模型,就连微调模型都做不到。 但如果只靠拼硬件,单靠当前计算性能的发展速度,迟早有一天无法满足日益膨胀的需求,所以还需要配套的软件来协调统筹计算能力,这时候就需要用到「智能计算」技术。 最近,来自之江实验室、中国工程院、国防科技大学、浙江大学等多达十二个国内外研究机构共同发表了一篇

02
领券