为什么“信息瓶颈”是深度学习的重要理论？ - 腾讯云开发者社区 - 腾讯云

开发者社区

文档建议反馈控制台

文章/答案/技术大牛

发布

【深度】“信息瓶颈”理论揭示深度学习本质，Hinton说他要看1万遍

信息瓶颈理论认为，深度神经网络在学习过程中像把信息从瓶颈中挤压出去一般，去除噪音输入，只保留与通用概念最相关的特征。Tishby认为这一理论不但能够解释深度学习的根本原理，还能解释人类学习过程。...Alemi说，信息瓶颈可能“不仅能够用于理解为什么神经网络有用，也是用于构建新目标和新网络架构的理论工具”。另外一些研究人员则持怀疑态度，认为信息瓶颈理论不能完全解释深学习的成功。...Tishby认为，信息瓶颈是学习的一个基本原则，无论是算法也好，苍蝇也罢，任何有意识的存在或突发行为的物理学计算，大家最期待的答案——“学习最重要的部分实际上是忘记”。...信息瓶颈：网络在抽取相关性时的理论边界 2015年，Tishby和他的学生Noga Zaslavsky假设深度学习是一个信息瓶颈过程，尽可能地压缩噪声数据，同时保留数据所代表的信息。...信息瓶颈是否能解释所有深度学习，除了压缩以外是否还有其他的泛化途径，这些还有待观察。一些AI专家认为，Tishby的想法是近期出现的关于深度学习最重要的理论见解之一。

1.8K4 0

【机器学习】机器学习重要方法——深度学习：理论、算法与实践

引言深度学习（Deep Learning）作为机器学习的一个重要分支，通过构建和训练多层神经网络，自动提取和学习数据的多层次特征，近年来在多个领域取得了突破性的进展。...第一章深度学习的基本概念 1.1 什么是深度学习深度学习是一类通过多层神经网络进行表征学习（representation learning）的机器学习方法。...1.2 深度学习的历史发展深度学习的发展经历了多个重要阶段：早期阶段：神经网络的基础理论和感知机模型的提出。神经网络的复兴：反向传播算法的提出和多层神经网络的广泛应用。...4.2 模型解释性与可解释性深度学习模型通常是黑箱模型，难以解释其内部工作机制。研究如何提高深度学习模型的解释性和可解释性，帮助用户理解和信任模型的决策，是一个重要的研究课题。...4.3 小样本学习与迁移学习在许多实际应用中，获取大量标注数据是困难的。研究如何在小样本条件下有效训练深度学习模型，以及利用迁移学习从已有模型中迁移知识，是深度学习的一个重要方向。

1.1K1 0

您找到你想要的搜索结果了吗？

是的

没有找到

戳穿泡沫：对「信息瓶颈」理论的批判性分析

该研究有望最终打开深度学习的黑箱，并解释人脑的工作原理（参见：揭开深度学习黑箱：希伯来大学计算机科学教授提出「信息瓶颈」）。...目前，一篇有关深度学习中信息瓶颈理论的论文《On the information bottleneck theory of deep learning》已提交 ICLR 2018 大会盲审，然而这篇论文的内容主要是指出信息瓶颈理论的局限...这是一个重要更新，指出了信息瓶颈理论的一些局限性。...我们的结果强调在应用信息理论分析深度学习系统时噪声假设的重要性，并且通过展示表征压缩与泛化性能存在分歧的实例来复杂化深度学习的信息瓶颈理论。...一言以蔽之，我们验证了深度学习信息瓶颈理论中的多个观点在一般情况下并不正确。

1.9K8 0

为什么 CUDA 对深度学习至关重要？

它只是一个与 GPU 进行对话的库吗？如果是，它是一个 C++ 库，还是可以通过 Python 等高级语言进行调用？或者，CUDA 是为 GPU 编写代码的编译器？...然而，随着深度学习，尤其是卷积神经网络（CNN）、递归神经网络（RNN）和生成对抗网络（GAN）等新型神经网络结构的出现，使得机器学习模型在多个领域的性能得到了革命性提升。...特别是在图像识别、语音识别、自然语言处理等感知领域，深度学习的表现远远超过了传统的机器学习算法。众所周知，AI 的一个核心目标是让机器具备“智能”，即感知、理解和处理复杂信息的能力。...通过这些平台，研究者和开发者可以快速搭建和优化深度学习模型，加速了从概念验证到实际应用的落地速度。 — 03 —CUDA 到底是如何加速深度学习？...综上所述，深度学习解决方案对计算资源的需求极为巨大，特别是在模型训练和推理过程中，往往涉及到大量的矩阵运算和并行计算。传统的 CPU 在处理这种计算密集型任务时，表现出较为明显的瓶颈。

1.1K1 0

基于信息理论的机器学习

在这篇报告中，作者相信信息学习理论将会成为未来机器学习理论发展中更为重要的基础内容。在今年Yann LeCun教授访问中国科学院自动化所之际，作者将自己的一篇观点文章分享与他作为学术交流。...深度学习近年来在各个领域取得了巨大的成功，然而深度神经网络的可解释性及其理论一直是一个问题。...of Deep Neural Networks via Information》，深度学习先驱Geoffery Hinton也曾评价该文章”信息瓶颈极其有趣…或许是解开谜题的那把钥匙”。...为了回答，作者对比了信息学习理论与机器学习的联系与差别，以分类学习为例，希望读者理解信息论目标或准则的重要发展趋势及其独特优点，如拒识分类中能够实现代价缺失学习。...本人认为，机器学习的本质是从数据中提取和学习有用信息的过程，而信息论为信息的处理提供了坚实的理论框架，基于信息论的机器学习理论将会在今后机器学习的发展中扮演重要的角色，或许会成为机器学习统一理论的基石。

1.2K8 0

关于深度学习你必须知道的几个信息理论概念

信息论是一个重要的领域，它对深度学习和人工智能作出了重大贡献，但很多人对它却并不了解。信息论可以看作是微积分、概率论和统计学这些深度学习基本组成部分的复杂融合。...下面将讨论深度学习和数据科学中四种流行的，广泛使用的和必须已知的信息论概念：熵也可以称为信息熵或香农熵。 ? 熵是实验中随机性或不确定性的度量熵给出了实验中不确定性的度量。...在诸如卷积神经网络的深度学习架构中，最终输出的softmax层经常使用交叉熵作为损失函数。交互信息交互信息是两种概率分布或随机变量之间相互依赖性的度量。...应用 KL散度通常用于无监督机器学习技术中的变分自编码器。信息论最初是由数学家和电气工程师克劳德·香农，在1948年的开创性论文“通信的数学理论”中提出的。...注意：随机变量和AI，机器学习，深度学习，数据科学等专业术语已被广泛使用，但在不同的领域中会有不同的物理含义。

5925 0

用信息瓶颈的迁移学习和探索

D MULTIAGENT COMMUNICATION 交流的语言问题 Here, we want to show that by training agents to develop “default

6982 0

用信息瓶颈的迁移学习和探索

Transfer and Exploration via the Information Bottleneck

5381 0

大模型为什么是深度学习的未来？

深度学习算法不需要像大模型那样训练大量数量的模型来学习特征之间的联系。深度学习算法是基于神经元的，而大模型是利用大量参数训练神经网络。...深度学习是学习样本数据的内在规律和表示层次，这些学习过程中获得的信息对诸如文字，图像和声音等数据的解释有很大的帮助。它的最终目标是让机器能够像人一样具有分析学习能力，能够识别文字、图像和声音等数据。...一方面，深度学习平台已成为先进算法模型的重要承载体，全球来看，AI领域创新算法的提出六成以上使用国际主流开发开源框架进行验证；另一方面，学术界、产业界对先进算法的使用需求反推深度学习平台加强对SOTA模型库的能力建设...三是提供企业级高精度应用构建和全平台部署能力，企业开发服务平台作为深度学习平台的重要出口，整合底层核心开源框架以及上层数据处理、模型开发构建、模型训练管理及端侧部署能力，辅助企业实现一站式模型定制能力。...量子计算具有传统计算无法比拟的信息承载能力和并行计算处理能力，有望解决人工智能模型参数数量增加带来的计算瓶颈问题。

3.3K1 1

深度学习笔记之为什么是SoftMax

，而，也就说这是一个线性分类器的输出作为自然常数的指数。最有趣的是最后一层有这样的特性： ? 也就是说最后一层的每个节点的输出值的加和是1。...这种激励函数通常用在神经网络的最后一层作为分类器的输出，有7个节点就可以做7个不同类别的判别，有1000个节点就可以做1000个不同样本类别的判断。 0x01 熵与交叉熵熵的本质是香农信息量 ?...的期望。熵在信息论中代表随机变量不确定度的度量。一个离散型随机变量 X 的熵 H(X) 定义为： ?...那么这次中国队获胜的平均信息量有多大呢？ ? 同理： ? 所以，“中国乒乓球队和巴西乒乓球对比赛结果”,这一信息的信息熵为： ?...0x02 交叉熵损失函数为什么Cross Entropy损失函数常用于分类问题中呢？我们从一个简单的例子来分析。 # 问题引入： # 假设我们有一个三分类问题，分别用模型1和模型2来进行预测。

1.2K1 0

为什么暂存环境是微服务测试的瓶颈

虽然这种设置已成为常态，但共享暂存环境通常会造成瓶颈，从而减缓团队速度并削弱微服务的优势。让我们深入了解为什么会发生这种情况，以及领先的工程团队如何超越暂存环境来有效地扩展测试。...CI/CD 管道中的瓶颈会导致他们花费更多时间调试而不是编码。如果您的工程团队每月因暂存环境相关问题而损失数天时间，这对您的速度和士气都是一个严重的打击。...发布流程中的摩擦会让开发人员感到沮丧，增加倦怠和人员流动。快乐的开发人员编写更好的代码，而无摩擦的发布流程是实现这一目标的关键。为什么暂存环境会崩溃：争用问题共享预发布环境的核心问题在于竞争。...团队无法安全地隔离测试他们的更改。这种隔离的缺乏会导致瓶颈，阻碍团队有效地验证他们的工作。...在一个速度、质量和开发人员幸福至关重要的世界里，隔离测试不仅仅是锦上添花——它是必不可少的。

2841 0

苹果Face ID不只是人脸识别，更重要的是那层深度信息

其中iPhone X作为苹果十周年的创新性产品出现。不可否认的是，iPhone X发布之前的爆料信息都非常准确，像传闻的全面屏、取消Home键、3D面部识别扫描也都在昨晚被一一证实。...对于人脸识别中用照片蒙骗系统的问题，由于有了3D信息，也起不到作用。而且正如苹果演示的那样，多出来的深度信息还可以优化前置相机拍摄效果，实现动画表情，叠加AR特效等功能。 ?...从深度摄像头开始，追溯苹果的深度信息布局若要追溯苹果对深度摄像头念头，不严格的说可以回到2013年。雷锋网曾报道，当年底苹果以3亿美元左右的价格收购了以色列公司PrimeSense。...如前所述，用结构光方案获取深度信息，原理简单来说，就是向空间投影一定图案，传感器获取反射回来的图案，与原图进行对比就能生成深度图。英特尔的RealSense实感技术也用到了这种方法。...TOF深度摄像头后来被微软用在了第二代的Kinct，其原理是，传感器发出经调制的脉冲红外光，遇物体后反射，传感器通过计算光线发射和反射时间差或相位差，来换算被拍摄景物的距离，以产生深度信息，此外再结合传统的相机拍摄

2.4K5 0

揭开深度学习黑箱：希伯来大学计算机科学教授提出「信息瓶颈」

耶路撒冷希伯来大学的计算机与神经科学家 Naftali Tishby 提出了一项名为「信息瓶颈」（Information Bottleneck）的新理论，有望最终打开深度学习的黑箱，以及解释人脑的工作原理...谷歌研究员 Alex Alemi 说：「我认为信息瓶颈对未来的深度神经网络研究很重要。我甚至发明了新的近似方法，从而把信息瓶颈分析应用到大型深度神经网络中。」...据 Tishby 所讲，信息瓶颈是一个根本性的学习原则，不管是算法、家蝇、有意识的存在还是突发事件的物理计算。我们期待已久的答案即是「学习的关键恰恰是遗忘。」...://arxiv.org/abs/1503.02406）深度学习是一个信息瓶颈程序，尽可能的压缩数据噪声，保留数据想表达的信息。...有些 AI 专家评价 Tishby 的想法是近来深度学习的重要理论洞察之一。哈佛大学的 AI 研究员和理论神经学家 Andrew Saxe 提出，大型深度神经网络并不需要冗长的压缩状态进行泛化。

5753 0

揭开深度学习黑箱：希伯来大学计算机科学教授提出「信息瓶颈」

「信息瓶颈」（Information Bottleneck）的新理论，有望最终打开深度学习的黑箱，以及解释人脑的工作原理。...谷歌研究员 Alex Alemi 说：「我认为信息瓶颈对未来的深度神经网络研究很重要。我甚至发明了新的近似方法，从而把信息瓶颈分析应用到大型深度神经网络中。」...据 Tishby 所讲，信息瓶颈是一个根本性的学习原则，不管是算法、家蝇、有意识的存在还是突发事件的物理计算。我们期待已久的答案即是「学习的关键恰恰是遗忘。」...://arxiv.org/abs/1503.02406）深度学习是一个信息瓶颈程序，尽可能的压缩数据噪声，保留数据想表达的信息。...有些 AI 专家评价 Tishby 的想法是近来深度学习的重要理论洞察之一。哈佛大学的 AI 研究员和理论神经学家 Andrew Saxe 提出，大型深度神经网络并不需要冗长的压缩状态进行泛化。

9668 0

【丽影】深度学习是视频技术与人眼视觉连结的重要桥梁

在众多的前沿科技领域中，为什么选择多媒体技术这一方向，有特别的魅力吗？或对你有特别的意义？...高孟平：丽影平台是一个以人眼视觉为标准的视频服务平台，在视频理解，处理与评估领域大量引入日益成熟的人工智慧及云端大数据能力，并与传统的视频处理及编解码技术深度结合，各个环节以人眼视觉为指标最优化，进而达到视频...高孟平：丽影的视频技术模块分为四大类，视频理解，视频处理，视频编解码，视频评估。以传统视频技术为基础贯穿各模块，并在视频理解、处理与评估模块中引入多项深度学习的能力 (括弧内)。...值得说明的是，深度学习是视频技术与人眼视觉间连结的重要桥梁，在许多视频增强的训练集中，都是人工将人眼喜好的程度标注下来，直接以人眼视觉为黄金标准。 ...高孟平：将部分丽影能力由服务端移植到客户端是2019年Q3的重点规划，建立丽影平台的端云闭环能力，将重要能力放在最适合的地方，达到带宽与计算资源的最佳利用。

9362 0

深度学习理论研究已进入瓶颈期？看看李飞飞们怎么说

Google Research研究员David Berthelot：我觉得如果你写一篇长文章来解释一下，为什么你认为现在的深度学习已经进入平台期，这对于我和其他读者来说更有启迪性。...AI科技评论就深度学习的理论研究进展与实际应用趋势征询了若干专家的意见：微软亚洲研究院主任研究员郑宇表示，深度学习爆发的瓶颈在人工智能技术与传统行业的对接：我部分认同这个观点。...不是理论取得了突破，而是算法的有效性由于计算能力的提升和大数据的出现获得了验证。应用会一直是机器学习的重点，同时理论和可解释性会一直被探索。...包括建立更加全面便捷，快速甚至可视化的深度学习平台，和adapt 甚至暴力地将深度学习应用到更加多的领域。小部分的深度学习研究者会偏向于理论化：解决深度学习的理论瓶颈包括可解释性等。...一个正在发生的趋势是：工程化的门槛越来越低，而理论的门槛越来越高。所以我还是基本认同他的观点，但是我们也非常地期待深度学习理论上的突破。

99611 0

微服务是如何演变的，又为什么重要？

不过这也代表着要安装的系统是应用级别的，也就是说在应用的开发、部署与管理方面出现了不同的需求。...Adrian Cockcroft在面向对象软件架构大会上关于微服务的演讲，以卡通形式呈现，作者是Remarker 举个例子，对于要处理服务与堆栈范围增长的公司来说，监控比以往更加重要。...如今，人们可以即时访问自己的账户收支信息。这种速度与即时性代表着：在过去的5-10年内，企业提供服务的发展速度必须跟得上社交网络与搜索公司发展的速度。...Engine Yard的Matt Butcher表示：微服务是软件相关的契约。有些人会辩称微服务是正确执行的面向服务架构（SOA）。开发者想要的是有用、功能丰富且结构优雅的架构。...结果就是对传统与基于微服务应用同样支持的基础架构，允许IT与开发者的访问。相比之下，VMware的Photon平台是专为原生云应用设计的。

9538 0

【机器学习】机器学习的重要方法——强化学习：理论，方法与实践

在人工智能的广阔领域中，强化学习（Reinforcement Learning, RL）是一个备受瞩目的分支。它通过让智能体（Agent）在环境中进行试错学习，以最大化累积奖励为目标。...二、强化学习算法的分类与示例代码（省略之前的分类和伪代码部分，直接展示应用场景代码）应用场景：FrozenLake环境 FrozenLake是一个经典的强化学习环境，其中智能体需要在一个4x4的网格世界中移动...，目标是到达目标位置，同时避免掉进冰洞。...三.强化学习的优势为了展示强化学习的优势，我们可以对比一个使用随机策略的智能体和一个使用强化学习算法（如Q-learning）训练过的智能体在相同环境中的性能。...五、总结与展望强化学习为机器赋予了自我学习和优化的能力，使得机器能够在复杂环境中进行智能决策。随着算法的不断优化和应用场景的不断拓展，强化学习将在更多领域展现出其独特的魅力和价值。

6381 0

深度学习 | GAN模式崩溃的理论解释

笔者和哈佛大学统计系的刘军教授交流，刘教授告诉笔者最近有麻省理工的学者来哈佛寻求教职，求职学术演讲的主题就是最优传输理论在深度学习中的应用。由此可以，深度学习的最优传输理论解释逐渐被广泛接受。...当时无论如何也无法想象二十多年后，这一理论会在深度学习领域发挥重要作用。...近些年来，深度学习的革命几乎席卷了整个计算机科学领域，尤其是这两年来对抗生成网络模型（GAN）石破天惊、一骑绝尘，而蒙日-安培理论恰好可以为GAN提供强有力的理论支持。...目前，笔者和很多合作者们倾向于认为蒙日-安培理论，最优传输理论对深度学习的发展会起到实质性作用，并为之孜孜以求。...如何解释模式崩溃的原因，如何设计新型算法避免模式崩溃，这些是深度学习领域的最为基本的问题。

4.6K3 1

【深度】为什么Alphago Zero是深度学习领域的一次巨大突破？

实现方法和上边提到的类似，将玩家的数量设置为零（即zerohumans）。深度学习技术的这一最新突破非常值得关注。DeepMind的作者使用“自我强化学习”一词来命名。...萦绕在每个人脑海中一个很重要的问题是：“AlphaGo Zero的算法是否具有通用性？”DeepMind公开表示将把这项技术应用于药物发现。...事实上不同的游戏需要考虑更多一连串的决策。蒙特卡搜索树同样也能解决这些问题吗？还有一个很重要的问题就是需要记住之前做过的决策。...如果我要说出AlphaGo Zero中的一个比较务实的深度学习发现，那应该就是使用深度学习网络的策略迭代会产生令人吃惊的效果。在以前的研究中，我们只是刚刚意识到强化学习的能力。...不能理解的维度有很多，“太大而不能理解”可能是因为信息太多了，“太小而不能理解”可能是因为形成的最基本行为概念没法理解。

1.3K5 0

点击加载更多

相关资讯

热门标签

活动推荐

运营活动

活动名称

广告关闭