每周养码场干货放送日
第9期
晚 20:00
本周日,场主要和大家分享的干货是
Geoffrey Hinton
《面向机器学习的神经网络》
视频教程!
Geoffrey Hinton,可能未必所有人都听过。
但他创立的门派——深度学习,却无人不知,点开本文的高傲的你,也许就是、或者即将成为,他的徒孙。
Geoffrey Hinton,将反向传播BP用于多层神经网络、发明了玻尔兹曼机(Boltzmann machine),深度学习领域的开山祖师、三大巨头之首。
PS:另2位巨头是Yann LeCun和Yoshua Bengio,其中Yann LeCun是Facebook的人工智能研究总监,CNN(卷积神经网络)之父,同时也是Hinton的学生!
他还有几位学生:Brendan Frey 是 Deep Genomics 公司创始人和 CEO,Radford Neal 是 R 语言的 pqR 解释器作者,Ilya Sutskever 是 DNNresearch 的联合创始人。
本周,场主给大家推的《Neutral Network for Machine Learning》,是深度学习大神Hinton毕生所学之作,也是他目前唯一一门的公开课。
在这期视频中,你可以学到什么?
Hinton 在此课程中介绍了人工神经网络在语音识别和物体识别、图像分割、建模语言和人类运动等过程中的应用,及其在机器学习中发挥的作用。
本次视频中,Geoffrey Hinton在第一集就给大家介绍了:为什么要学习机器学习?
我们为什么需要机器学习?机器学习的用途广泛,在课程开篇中,Hinton结合不同场景为大家解释了这个问题。
视频部分展示:
+
+
……
视频学习引导提纲:
章节1:绪论:面向机器学习的神经网络
课时1为什么我们需要机器学习
课时2什么是神经元网络
课时3简单的神经元模型
课时4ANN的MNIST学习范例
课时5机器学习算法的三大类
章节2:感知器的学习过程
课时6神经网络架构介绍
课时7感知器
课时8感知器的几何空间解析
课时9感知器的原理透析
课时10 感知器的局限性
章节3:线性/逻辑神经网络和反向传播
课时11线性神经元的权值收敛
课时12线性神经元误差曲面分析
课时13逻辑神经元的学习规则
课时14反向传播算法解析(一)
课时15反向传播算法解析(二)
章节4:学习特征词向量
课时16 学习预测词
课时17初识神经认知学
课时18Softmax输出函数
课时19语音识别模型
章节5:用神经网络进行物体识别
课时20视觉识别的难点
课时21如何达到视觉不变性
课时22应用于数字识别的卷积网络
章节6:模型优化:如何加快学习
课时23小批量梯度下降法概览
课时24小批量梯度下降法的一些技巧
课时25动量方法
课时26针对网络中每个连接的自适应学习步长
课时27Rmsprop算法12:00
章节7: 循环神经网络RNN(一)
课时28序列模型概述
课时29用反向传播训练RNNs
课时30训练RNN的一个例子
课时31训练RNN的难点
课时32LSTM网络
章节8:循环神经网络(二)
课时33用乘法连接进行字符串建模
课时34用HF方法学习预测
课时35Echo State Networks
章节9:提高神经网络模型的泛化能力
课时36提高泛化能力概述
课时37限制权重带大小
课时38正则化防止过拟合
课时39完全贝叶斯方法介绍
课时40权值衰减的贝叶斯解释
课时41MacKay的确定权值惩罚项的方法
章节10:结合多重神经网络提高泛化能力
课时42在做预测时为什么要结合多个模型
课时43多专家模型
课时44完全贝叶斯方法
课时45完全贝叶斯方法的实际应用
课时46Dropout
章节11:Hopfield网络和玻尔兹曼机
课时47Hopfield网络
课时48Dealing with spurious minima
课时49具有隐藏单元的Hopfield网络
课时50
Using stochastic units to improv search
课时51玻尔兹曼机
章节12:限制玻尔兹曼机
课时52玻尔兹曼机器学习
课时53More efficient ways to get the statistics
课时54限制玻尔兹曼机
课时55RBM学习案例
课时56用于协同过滤的RBM
章节13:深度置信网络
课时57反向传播算法的历史发展
课时58置信网络
课时59wake-sleep算法
章节14: 生成预训练的深度神经网络
课时60通过堆叠RBM进行功能层学习
课时61DBNs的判定性学习
课时62判定性微调期间会发生什么?
课时63用RBM建模实值数据
课时64RBM是无限的S形信任网
章节15:神经网络的模型分层结构
课时65从PCA到自动编码器
课时66深度自动编码器
课时67深度自动编码器,用于文档检索
课时68散列语义
课时69学习用于图像检索的二进制码
章节16:深度神经网络的应用
课时70图像和字幕的联合模型学习
课时71分层坐标框架
课时72超参数的贝叶斯优化