专栏首页Python数据科学深度学习基础总结,无一句废话(附完整思维导图)

深度学习基础总结,无一句废话(附完整思维导图)

1 线型回归

预测气温、预测销售额、预测商品价格等

模型:权重,偏差

模型训练:feed 数据学习模型参数值,使得误差尽可能小

训练集、测试集、验证集、样本、标签、特征

损失函数:回归常用平方误差函数;

优化算法:小批量随机梯度下降(每次选一小批样本训练参数),每批样本大小叫做 batch size

学习率:正数

超参数:不是通过训练学出的,如学习率,批量大小

网络输出层只有一个神经元节点

全连接层:输出层中的神经元和输入层中各个输入完全连接

基本要素:模型、训练数据、损失函数和优化算法

2 softmax 回归

图像分类、垃圾邮件识别、交易诈骗识别、恶意软件识别等

softmax运算符将输出值变换成值为正,且和为1的概率分布

交叉熵损失函数:更适合衡量两个概率分布差异

softmax 回归是一个单层神经网络,输出个数等于类别个数

3 多层神经网络

激活函数:一种非线性函数

ReLU函数:只保留正数元素,负数元素清零

sigmoid函数:将元素值变换到0到1

tanh(双曲正切):元素值变换到-1到1

4 模型选择

模型在训练集上更准确时,不代表在测试集上就一定准确

训练误差:训练数据集上表现出的误差;泛化误差:模型在测试集上表现的误差期望

机器学习需要关注降低泛化误差

模型选择:评估若干候选模型的表现并从中选择模型

候选模型可以是有着不同超参数的同类模型

验证集:预留训练和测试集之外的数据; 折交叉验证:训练集分成份,共次轮询训练集

欠拟合:模型无法得到较低的训练误差

过拟合:模型的训练误差远小于测试集上的误差

模型复杂度:低,容易欠拟合;高,容易过拟合

数据集大小:训练样本少,尤其少于学习参数数时,容易过拟合;层数多时尽量数据大些

5 必知技巧

过拟合解决措施之一:权重衰减,常用L2正则

L2惩罚系数越大,惩罚项在损失函数中比重就越大

丢弃法(dropout):一定概率丢弃神经元

正向传播:沿着输入层到输出层的顺序,依次计算并存储模型的中间变量

反向传播:从输出层到输入层参数调整过程

训练深度学习模型时,正向传播和反向传播间相互依赖

数值稳定性的问题:衰减和爆炸

层数较多时容易暴露,如每层都是一个神经元的30层网络,如果权重参数为0.2,会出现衰减;如果权重参数为2,会出现爆炸

权重参数初始化方法:正态分布的随机初始化;Xavier 随机初始化。

6 思维导图

以上1-5节的完整思维导图,制作出来方便大家更好学习:

本文分享自微信公众号 - Python数据科学(PyDataScience)

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2020-05-19

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • Google发布的机器学习术语表 (中英对照)

    一种统计方法,用于将两种或多种技术进行比较,通常是将当前采用的技术与新技术进行比较。A/B 测试不仅旨在确定哪种技术的效果更好,而且还有助于了解相应差异是否具有...

    用户2769421
  • 开源 sk-dist,超参数调优仅需 3.4 秒,sk-learn 训练速度提升 100 倍!

    这篇文章为大家介绍了一个开源项目——sk-dist。在一台没有并行化的单机上进行超参数调优,需要 7.2 分钟,而在一百多个核心的 Spark 群集上用它进行超...

    用户2769421
  • 精选 | 机器学习与深度学习常见面试题

    随机森林的预测输出值是多课决策树的均值,如果有n个独立同分布的随机变量xi,它们的方差都为σ2,则它们的均值的方差为:

    用户2769421
  • 深度学习基础总结,无一句废话(附完整思维导图)

    优化算法:小批量随机梯度下降(每次选一小批样本训练参数),每批样本大小叫做 batch size

    double
  • 机器学习入门 8-5 学习曲线

    本系列是《玩转机器学习教程》一个整理的视频笔记。上一小节介绍了模型复杂度曲线,通过这种直观的曲线,可以比较容易的看到模型欠拟合和过拟合的地方,进而选出最合适的模...

    触摸壹缕阳光
  • asp.net core 系列之webapi集成Dapper的简单操作教程

    在这之前,可以手动往数据库表里加几条数据,我这里没有加,只是在Get方法里打了个断点

    Vincent-yuan
  • 叫你一声“孙悟空”,敢答应么?

    随着自然语言理解等技术的发展,对话机器人如今盛行,而基于此的智能音箱产品的发展也异常火热。

    AI科技大本营
  • 后BERT时代:15个预训练模型对比分析与关键点探究

    在小夕之前写过的《NLP的游戏规则从此改写?从word2vec, ELMo到BERT》一文中,介绍了从word2vec到ELMo再到BERT的发展路径。而在BE...

    zenRRan
  • NLP这两年:15个预训练模型对比分析与剖析

    在之前写过的《NLP的游戏规则从此改写?从word2vec, ELMo到BERT》一文中,介绍了从word2vec到ELMo再到BERT的发展路径。而在BERT...

    AI科技大本营
  • 使用tensorflow 的slim模块fine-tune resnet/densenet/inception网络,解决batchnorm问题

    版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/qq_25737169/article/d...

    DoubleV

扫码关注云+社区

领取腾讯云代金券