深度学习笔记

1、学习与智能

学习的能力,是智能的本质。

2、ImageNet图像分类比赛

ImageNet图像分类比赛,共有22K个类别,14M张图像。

3、传统人工智能算法与深度学习算法的比较

4、无人驾驶汽车需要用到的深度学习技术

(1)物体检测; (2)行人检测; (3)标志识别; (4)速度识别。

5、深度学习的常规套路

(1)收集数据并给定标签; (2)训练一个分类器; (3)测试,评估。

6、K近邻算法

(1)算法思想 对于未知类别属性数据集中的点:

  1. 计算已知类别数据集中的点与当前点的距离
  2. 按照距离依次排序
  3. 选取与当前点距离最小的K个点
  4. 确定前K个点所在类别的出现概率
  5. 返回前K个点出现频率最高的类别作为当前点预测分类。

(2)算法解释

  1. KNN 算法本身简单有效,它是一种 lazy-learning 算法。 分类器不需要使用训练集进行训练,训练时间复杂度为0。 KNN 分类的计算复杂度和训练集中的文档数目成正比,也就是说,如果训练集中文档总数为 n,那么 KNN 的分类时间复杂度为O(n)。 K 值的选择,距离度量和分类决策规则是该算法的三个基本要素。 该算法在分类时有个主要的不足是,当样本不平衡时,如一个类的样本容量很大,而其他类样本容量很小时,有可能导致当输入一个新样本时,该样本的 K 个邻居中大容量类的样本占多数。解决方法:不同的样本给予不同权重项。
  2. 选取超参数的正确方法是:将原始训练集分为训练集和验证集,我们在验证集上尝试不同的超参数,最后保留表现最好那个。 如果训练数据量不够,使用交叉验证方法,它能帮助我们在选取最优超参数的时候减少噪音。 一旦找到最优的超参数,就让算法以该参数在测试集跑且只跑一次,并根据测试结果评价算法。 最近邻分类器能够在CIFAR-10上得到将近40%的准确率。该算法简单易实现,但需要存储所有训练数据,并且在测试的时候过于耗费计算能力。 最后,我们知道了仅仅使用L1和L2范数来进行像素比较是不够的,图像更多的是按照背景和颜色被分类,而不是语义主体本身。
  3. 预处理你的数据:对你数据中的特征进行归一化(normalize),让其具有零平均值(zero mean)和单位方差(unit variance)。 如果数据是高维数据,考虑使用降维方法,比如PCA。 将数据随机分入训练集和验证集。按照一般规律,70%-90% 数据作为训练集,在验证集上调优,尝试足够多的k值,尝试L1和L2两种范数计算方式。

7、数据库样例CIFAR-10

该数据库有:10类标签,50000个训练数据,10000个测试数据,大小均为32*32。

8、L1距离(城市距离)与L2距离(欧式距离)

9、交叉验证

10、损失函数

(1)损失函数的计算

(2)损失函数的可容忍程度

(3)损失函数公式

(4)正则化惩罚项

L2正则化

(5)损失函数终极版

11、Sigmoid函数

12、Softmax分类器

Softmax的输出(归一化的分类概率)。 损失函数:交叉熵损失(cross-entropy loss)。

被称作softmax 函数。其输入值是一个向量,向量中元素为任意实数的评分值。输出一个向量,其中每个元素值在0到1之间,且所有元素之和为1。

13、SVM损失函数与Softmax损失函数对比

损失函数公式汇总

14、梯度下降

Batchsize通常是2的整数倍(32,64,128)。 学习率比较图:

15、ReLu激活函数

16、Drop-Out

17、卷积神经网络

(1)卷积神经网络组成: [INPUT - CONV - RELU - POOL - FC] 输入层-卷积层-激活函数-池化层-全连接层 (2)卷积层计算过程

(3)特征图大小计算

(4)卷积神经网络的权重参数个数计算

所以,得到同样的感受野大小,卷积核较小的网络虽然层数更多,但是权重参数更少。 (5)经典的卷积神经网络

(6)经典卷积神经网络的模型库 Caffe框架的卷积神经网络模型库“Model Zoo”: https://github.com/BVLC/caffe/wiki/Model-Zoo

18、数据增强

数据增强方式包括:平移、旋转、伸缩、裁剪、镜头扭曲变形等。

19、迁移学习

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • Eclipse连接SQL2008与连接SQL2000代码的不同及连接2008过程中遇到的问题

    版权声明:本文为博主原创文章,转载请注明出处。 https://blog.csdn.net/gongxifacai_believe/artic...

    魏晓蕾
  • 架构师的必备素质和成长途径

    2016年11月18-20日SDCC 2016中国软件开发者大会,易宝支付CTO陈斌给我们带来了“架构师的成长之路”的演讲。主要谈及了架构师的必备素质和成长途...

    魏晓蕾
  • 【深度学习】深度学习中的一些数学公式

    5、交叉熵损失(cross-entropy loss)函数:

    魏晓蕾
  • 教你用 Python 和 Keras 建立自己的 AlphaZero

    作者David Foster。 翻译 | 黄伟聪 董星 校对 | 凡江 ? 在这篇文章,我会试着阐明三件事: AlphaZero之所以是人工智能前...

    AI研习社
  • 笔记︱风控分类模型种类(决策、排序)比较与模型评估体系(ROC/gini/KS/lift)

    ——————————————————————————————————————————

    素质
  • 如何评价算法的好坏?

    评价一个算法的好坏,我认为关键是看能不能解决问题。如果算法能很好地解决实际的问题,那么我认为就是好算法。比如预测的算法,关键是看预测的准确率,即预测值与实际值之...

    数据森麟
  • 一文带你了解深度神经网络架构发展史

    作者 | Eugenio Culurciello 译者 |叶俊贤 深度神经网络和深度学习算法因为在科研工作与工程任务中都取得了显著的效果从而大受欢迎。而其中取...

    AI科技大本营
  • SpringBoot体验

    DataScience
  • 基于蚁群算法的机械臂打孔路径规划

    问题描述   该问题来源于参加某知名外企的校招面试。根据面试官描述,一块木板有数百个小孔(坐标已知),现在需要通过机械臂在木板上钻孔,要求对打孔路径进行规划,力...

    waylon
  • 南方周末:超越人类的终极人工智能算法将会来临?

    【新智元导读】从尼采说上帝死了,到现在尤瓦尔·赫拉利重新把AI推到技术上帝的位置,不过一百多年时间。人类自己充当上帝角色,即使从达尔文出版《进化论》开始算,不到...

    新智元

扫码关注云+社区

领取腾讯云代金券