人工智能-深度学习

空山鸣响,静水流深:深度学习概述


深度学习的一些简介,其要点如下:

  • 深度学习实际上是基于具有多个隐藏层的神经网络的学习;
  • 深度学习的思想来源于人类处理视觉信息的方式;
  • 深度学习的发展得益于数据的井喷和计算力的飙升;
  • 深度学习的理论基础依然有待深入。

image

前方有路,未来可期:深度前馈网络


作为学习模型的深度前馈网络存在的一些共性问题,其要点如下:

  • 深度前馈网络利用深度架构实现工程上可实现的对任意函数的通用逼近;
  • 深度前馈网络使用梯度下降的方法进行学习;
  • 深度前馈网络的损失函数通常是交叉熵或最小均方误差;
  • 深度前馈网络的隐藏神经元通常使用整流线性单元作为传递函数。

image

小树不修不直溜:深度学习中的正则化


实现正则化的思路,其要点如下:

  • 基于训练数据的正则化方法包括数据集增强和 Dropout;
  • 基于网络架构的正则化方法包括参数共享和传递函数正则化;
  • 基于误差函数和正则化项的正则化方法包括使用 范数和 范数;
  • 基于最优化过程的正则化方法包括早停。

image

玉不琢不成器:深度学习中的优化


深度学习中实现优化的思路,其要点如下:

  • 深度学习中的优化需要解决病态矩阵、局部极小值和鞍点等问题;
  • 深度学习优化中的降噪方法包括动态采样、梯度聚合和迭代平均;
  • 深度学习优化中的二阶导数近似方法是对原始牛顿法的各种改进;
  • 其他优化方法包括动量方法、加速下降方法和坐标下降方法。

image

空竹里的秘密:自编码器


自编码器的原理与特点,其要点如下:

  • 自编码器是一种无监督学习方式,目的在于学习数据的重新表达;
  • 多个浅层自编码器级联可以得到深度的栈式自编码器,并使用无监督预训练结合有监督微调的方式加以训练;
  • 稀疏自编码器利用稀疏的高维表达提取出训练集中隐含的统计规律;
  • 变分自编码器对隐藏层做参数化处理,可以用于学习数据的生成模型。

image

困知勉行者勇:深度强化学习


深度强化学习(deep reinforcement learning)是深度学习和强化学习的结合,它将深度学习的感知能力和强化学习的决策能力熔于一炉,用深度学习的运行机制达到强化学习的优化目标,从而向通用人工智能迈进。

深度强化学习的简单原理与方法分类,其要点如下:

  • 深度强化学习是深度学习和强化学习的结合,有望成为实现通用人工智能的关键技术;
  • 基于价值的深度强化学习的基本思路是建立价值函数的表示,通过优化价值函数得到最优策略;
  • 基于策略的深度强化学习的基本思路是直接搜索能够使未来奖励最大化的最优策略;
  • 基于模型的深度强化学习的基本思路是构造关于环境的转移概率模型,再用这个模型指导策略。

image

拓展阅读参考书


本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏AI研习社

如何在 Scratch 中用 Python 构建神经网络

动机:为了更加深入的理解深度学习,我们将使用 python 语言从头搭建一个神经网络,而不是使用像 Tensorflow 那样的封装好的框架。我认为理解神经网络...

1201
来自专栏派树AI

机器学习笔记——Logistic回归算法

logistic回归又称logistic回归分析,是一种广义的线性回归分析模型,常用于数据挖掘,疾病自动诊断,经济预测等领域。

990
来自专栏魏晓蕾的专栏

【机器学习】CS229课程笔记notes1翻译-Part I线性回归

      让我们开始谈论一些监督学习的例子。假定我们有一个数据集,给出俄勒冈州波特兰地区47套房屋的居住面积和价格:

2029
来自专栏计算机视觉战队

线性分类原来是这么一回事,skr~

SVM是最常用的两个分类器之一,而另一个就是Softmax分类器,它的损失函数与SVM的损失函数不同。

1153
来自专栏新智元

Reddit热文:MIT\北大\CMU合作, 找到深度神经网络全局最优解

在目标函数非凸的情况下,梯度下降在训练深度神经网络中也能够找到全局最小值。本文证明,对于具有残差连接的超参数化的深度神经网络(ResNet),采用梯度下降可以在...

793
来自专栏Duncan's Blog

StatisticLearning

1.泛化误差/期望损失(风险函数):是理论模型f(X)关于联合分布P(X,Y)的平均意义下的损失.

1062
来自专栏小小挖掘机

整理一份机器学习资料!

本系列主要根据吴恩达老师的课程、李航老师的统计学习方法以及自己平时的学习资料整理!在本文章中,有些地方写的十分简略,不过详细的介绍我都附上了相应的博客链接,大家...

1422
来自专栏小樱的经验随笔

回归与梯度下降法及实现原理

回归与梯度下降 回归在数学上来说是给定一个点集,能够用一条曲线去拟合之,如果这个曲线是一条直线,那就被称为线性回归,如果曲线是一条二次曲线,就被称为二次回归,回...

3866
来自专栏SIGAI学习与实践平台

基于内容的图像检索技术综述-CNN方法

传统方法在图像检索技术上一直表现平平。比如传统方法常用的SIFT特征,它对一定程度内的缩放、平移、旋转、视角改变、亮度调整等畸变,都具有不变性,是当时最重要的图...

1715
来自专栏计算机视觉战队

每日一学——线性分类笔记(下)

Softmax分类器 SVM是最常用的两个分类器之一,而另一个就是Softmax分类器,它的损失函数与SVM的损失函数不同。对于学习过二元逻辑回归分类器的读者来...

4167

扫码关注云+社区