【重磅前沿】深度学习理论,斯坦福大学Fall 2017最新课程(STATS 385-附PPT下载,课程目录视频)

【导读】斯坦福大学《深度学习理论》《Theories of Deep Learning》

课程邀请相关专家带你探究深度学习背后的理论基础,解开深度学习的黑盒,带你知其然知其所以然。专知内容组特别整理为大家展现,欢迎大家阅读,转发分享文末查看课程PPT下载

深度学习理论

深度学习的理论探讨比应用滞后了“好几个量级”。在2017未来科学大奖颁奖盛典,南京大学教授周志华在与深鉴科技联合创始人汪玉对话时表示,深度学习的理论探讨比应用滞后了“好几个量级”,在谈及人工智能近期的热潮时表示,这是源于机器学习在过去15年里取得了飞速进展,而机器学习的实质就是人类希望通过计算机来寻找出数据中所包含的规律;周志华认为,目前深度学习的优势在于能更好地发挥出数据的作用,而且目前深度模型多是基于神经网络,这就能更方便快捷地利用上新增加的能力,但同时深度学习模型的理论基础不是特别扎实,“很多时候它到底怎样能做得更好是在靠尝试,而不是有一个很清楚的理论告诉我们该怎么做、不该怎么做,这是它的弱点。”他认为,深度学习的理论探讨比应用滞后了“好几个量级”。

工程化的门槛越来越低,而理论的门槛越来越高。密歇根州立大学助理教授汤继良认为,深度学习工程化的门槛越来越低,而理论的门槛越来越高:深度学习正在两极化。大部分甚至越来越多的深度学习的人会偏向于工程化。包括建立更加全面便捷,快速可视化的深度学习平台,甚至暴力地将深度学习应用到更加多的领域。小部分的深度学习研究者会偏向于理论化:解决深度学习的理论瓶颈包括可解释性等。一个正在发生的趋势是:工程化的门槛越来越低,而理论的门槛越来越高。

斯坦福大学《深度学习理论》课程邀请相关专家待你探究深度学习背后的理论基础,解开深度学习的黑盒,带你知其然知其所以然。

【斯坦福课程:深度学习理论】《Theories of Deep Learning》

课程简介

如今深度学习在各个领域取得的一系列成功仅仅是依靠各种经验的堆叠。但是挖掘这些成功背后的理论支持也是很重要的。在这门概述课程将探究Burna and Mallat, Mhaskar and Poggio, Papyan and Elad, Bolsckei and co-authors, Baraniuk以及他们合作者的一些最新研究,并试图建立起深度学习的理论框架。除了开始的背景介绍的课程,我们还有一些嘉宾作者对他们关于深度学习理论研究的报告。 网址链接:https://stats385.github.io/

主讲 David Donoho, Hatef Monajemi, Vardan Papyan

课程列表

  1. Lecture01: Deep Learning Challenge. Is There Theory? (Donoho/Monajemi/Papyan)
    • 深度学习的挑战:背后是否有理论的支撑?
    • 视频链接: [https://v.qq.com/x/page/h05028esp6o.html]
    • PPT: [https://stats385.github.io/assets/lectures/StanfordStats385-20170927-Lecture01-Donoho.pdf]
视频内容
  1. Lecture02: Overview of Deep Learning From a Practical Point of View (Donoho/Monajemi/Papyan)
    • 深度学习概况—从实践的角度
    • 视频链接: [https://v.qq.com/x/page/q0502rw18u1.html]
    • PPT: [https://stats385.github.io/assets/lectures/Lecture-02-AsCorrected.pdf]
视频内容
  1. Lecture03: Harmonic Analysis of Deep Convolutional Neural Networks (Helmut Bolcskei)
    • 深度卷积网络的调和分析方法
    • 视频链接: [https://v.qq.com/x/page/w0502gc5zrj.html]
    • PPT: [https://stats385.github.io/assets/lectures/bolcskei-stats385-slides.pdf]
视频内容
  1. Lecture04: Convnets from First Principles: Generative Models, Dynamic Programming & EM (Ankit Patel)
    • 从基本原理出发学习卷积网络:生成模型,动态规划以及EM算法
    • 网址链接: [https://v.qq.com/x/page/u05027yj563.html]
    • PPT: [https://stats385.github.io/assets/lectures/bolcskei-stats385-slides.pdf]
  2. Lecture05: When Can Deep Networks Avoid the Curse of Dimensionality and Other Theoretical Puzzles (Tomaso Poggio)
    • 什么时候深度网络可以避免维度灾难以及其他理论困扰
    • 网址链接: [https://v.qq.com/x/page/h05028esp6o.html]
    • PPT: [https://stats385.github.io/assets/lectures/StanfordStats385-20171025-Lecture05-Poggio.pdf]
  3. Lecture06: Views of Deep Networks from Reproducing Kernel Hilbert Spaces (Zaid Harchaoui)
    • 从再生希尔伯特空间看深度网络
    • 网址链接: [https://v.qq.com/x/page/h05028esp6o.html]
    • PPT: [https://stats385.github.io/assets/lectures/lecture6_stats385_stanford_nov17.pdf]

参考文献 http://ai.techweb.com.cn/2017-10-31/2599797.shtml

欢迎转发到你的微信群和朋友圈,分享专业AI知识!

请关注专知公众号

  • 后台回复“TDL” 就可以在手机端获取深度学习理论PPT资料下载链接地址

原文发布于微信公众号 - 专知(Quan_Zhuanzhi)

原文发表时间:2017-11-09

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏新智元

【干货】生成对抗式网络创始人Quora答疑

【新智元导读】还记得不久前LeCun在Quora答题时说的,他最激动的深度学习进展是“生成对抗网络”吗?生成对抗网络的提出者Ian Goodfellow日前也在...

371120
来自专栏机器之心

不出所料!ICLR 2018最佳论文:基于梯度的元学习算法,可高效适应非平稳环境

选自ICLR 作者:Maruan Al-Shedivat、Trapit Bansal、Yura Burda、Ilya Sutskever、Igor Mordat...

39170
来自专栏大数据挖掘DT机器学习

滴滴大数据算法大赛Di-Tech2016参赛总结

---- 写在前面 题目描述 建模方法 特征工程 我的几次提升方法 从其他队伍那里学习到的提升方法 总结和感想 神经网络方法的一点思考 大数据量与分布式计算...

712150
来自专栏机器之心

学界 | DeepMind提出Rainbow:整合DQN算法中的六种变体

37080
来自专栏数据科学与人工智能

【数据挖掘】数据挖掘中应该避免的弊端

1. 缺乏数据(Lack Data) 对于分类问题或预估问题来说,常常缺乏准确标注的案例。 例如:欺诈侦测(Fraud Detection):在上百万的交易中...

29980
来自专栏机器之心

前沿 | 剧本自动生成电影:杜克大学提出AI视频生成新方法

36660
来自专栏AI科技评论

KDD Cup 2018 冠军「 first floor to eat latiao」:为什么取这个队名?因为大家都爱辣条

提到 KDD Cup,相信数据挖掘领域的同学并不陌生。作为目前数据挖掘领域最有影响力、最高水平的国际顶级赛事,KDD Cup 至今已举办 21 届,每年都会吸引...

12410
来自专栏数据科学与人工智能

余凯在清华的讲座笔记

2014.4.4,余凯在清华FIT楼做了“Deep Learning Unfolds the Big Data Era”的讲座。感觉这个讲座还是比较high-l...

255100
来自专栏新智元

【无监督学习】我们如何教人类婴儿学习,也如何教AI

【新智元导读】这篇文章讨论了在深度学习中为什么高质量、有标签的数据如此重要,从哪里得到这些数据,以及如何有效使用它们。作者最后提出,解决训练数据缺乏的方法可以是...

34680
来自专栏量子位

吴恩达的新深度学习课程什么样?我们试听了一下 | 附视频

问耕 发自 凹非寺 量子位 报道 | 公众号 QbitAI 注册之后,可以获得七天免费试听。不过在这之前,你首先需要输入一张信用卡/储蓄卡,或者Paypal账户...

42570

扫码关注云+社区

领取腾讯云代金券