首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
您找到你想要的搜索结果了吗?
是的
没有找到

基于信息理论的机器学习-中科院自动化所胡包钢研究员教程分享04(附pdf下载)

【导读】专知于11月24日推出胡老师的基于信息理论的机器学习报告系列教程,大家反响热烈,胡老师PPT内容非常翔实精彩,是学习机器学习信息理论不可多得的好教程,今天是胡老师为教程的第四部分也是报告的最后一部分(为第五章和第六章内容)进行详细地注释说明,请大家查看! ▌概述 本次tutorial的目的是,1.介绍信息学习理论与模式识别的基本概念与原理;2.揭示最新的理论研究进展;3.从机器学习与人工智能的研究中启发思索。由于时间有限,本次只是大概介绍一下本次tutorial的内容,后续会详细介绍每一部分。 本

07

对抗网络2019-2020速览

Variational Discriminator Bottleneck: Improving Imitation Learning, Inverse RL, and GANs by Constraining Information Flow.(ICLR 2019高分论文) 首先讲一下需要了解的知识: A.信息瓶颈 他的原理是,在信息传播过程中,设置一个瓶颈,通过这个瓶颈的信息是有限的,然而仅用这些有限的信息还要完成分类或者回归的任务,所以流过瓶颈的这些“有限的信息”肯定是最重要,少而精的。通过信息瓶颈,可以获取到重要特征。 B.互信息 三种理解1)互信息度量 x 和 y 共享的信息。2)y的发生给x的不确定度的减少,也就是x如果发生能够带来的信息量减少了。就好比扔骰子,y是扔出偶数,x是扔出6。原本x能带来的信息量比发生y后要多,而这部分减少的信息量叫做互信息。3)如下图所示,A和B的交,I(X,Y)表示为互信息。

01

CPC(representation learning with contrastive predctive coding)

摘要: 监督学习在很多应用方面有了巨大的进步,但是非监督学习却没有如此广的应用,非监督学习是人工智能方面非常重要也非常具有挑战性的领域。这篇论文提出了 constrative predictive coding,一个非监督的通用的算法用于在高维度数据中提取有用的表示信息。算法的核心是通过强大的自回归(autoregressive)模型来学习未来的(预测的)隐变量表示。论文使用对比损失概率(probabilistic contrastive loss)来引入最大化预测样本的信息的隐变量。大多数其他研究的工作都集中在使用一个特殊的修正(公式)评估表示,论文(CPC)所使用的方法在学习有用信息表示的时候表现非常优异。

03

基于信息理论的机器学习-中科院自动化所胡包钢研究员教程分享03(附pdf下载)

【导读】专知于11月24日推出胡老师的基于信息理论的机器学习报告系列教程,大家反响热烈,胡老师PPT内容非常翔实精彩,是学习机器学习信息理论不可多得的好教程,今天是胡老师为教程的第三部分(为第四章内容)进行详细地注释说明,请大家查看! ▌概述 ---- 本次tutorial的目的是,1.介绍信息学习理论与模式识别的基本概念与原理;2.揭示最新的理论研究进展;3.从机器学习与人工智能的研究中启发思索。由于时间有限,本次只是大概介绍一下本次tutorial的内容,后续会详细介绍每一部分。 胡老师的报告内容分为三

07
领券