人工智能-深度学习

空山鸣响,静水流深:深度学习概述


深度学习的一些简介,其要点如下:

  • 深度学习实际上是基于具有多个隐藏层的神经网络的学习;
  • 深度学习的思想来源于人类处理视觉信息的方式;
  • 深度学习的发展得益于数据的井喷和计算力的飙升;
  • 深度学习的理论基础依然有待深入。

image

前方有路,未来可期:深度前馈网络


作为学习模型的深度前馈网络存在的一些共性问题,其要点如下:

  • 深度前馈网络利用深度架构实现工程上可实现的对任意函数的通用逼近;
  • 深度前馈网络使用梯度下降的方法进行学习;
  • 深度前馈网络的损失函数通常是交叉熵或最小均方误差;
  • 深度前馈网络的隐藏神经元通常使用整流线性单元作为传递函数。

image

小树不修不直溜:深度学习中的正则化


实现正则化的思路,其要点如下:

  • 基于训练数据的正则化方法包括数据集增强和 Dropout;
  • 基于网络架构的正则化方法包括参数共享和传递函数正则化;
  • 基于误差函数和正则化项的正则化方法包括使用 范数和 范数;
  • 基于最优化过程的正则化方法包括早停。

image

玉不琢不成器:深度学习中的优化


深度学习中实现优化的思路,其要点如下:

  • 深度学习中的优化需要解决病态矩阵、局部极小值和鞍点等问题;
  • 深度学习优化中的降噪方法包括动态采样、梯度聚合和迭代平均;
  • 深度学习优化中的二阶导数近似方法是对原始牛顿法的各种改进;
  • 其他优化方法包括动量方法、加速下降方法和坐标下降方法。

image

空竹里的秘密:自编码器


自编码器的原理与特点,其要点如下:

  • 自编码器是一种无监督学习方式,目的在于学习数据的重新表达;
  • 多个浅层自编码器级联可以得到深度的栈式自编码器,并使用无监督预训练结合有监督微调的方式加以训练;
  • 稀疏自编码器利用稀疏的高维表达提取出训练集中隐含的统计规律;
  • 变分自编码器对隐藏层做参数化处理,可以用于学习数据的生成模型。

image

困知勉行者勇:深度强化学习


深度强化学习(deep reinforcement learning)是深度学习和强化学习的结合,它将深度学习的感知能力和强化学习的决策能力熔于一炉,用深度学习的运行机制达到强化学习的优化目标,从而向通用人工智能迈进。

深度强化学习的简单原理与方法分类,其要点如下:

  • 深度强化学习是深度学习和强化学习的结合,有望成为实现通用人工智能的关键技术;
  • 基于价值的深度强化学习的基本思路是建立价值函数的表示,通过优化价值函数得到最优策略;
  • 基于策略的深度强化学习的基本思路是直接搜索能够使未来奖励最大化的最优策略;
  • 基于模型的深度强化学习的基本思路是构造关于环境的转移概率模型,再用这个模型指导策略。

image

拓展阅读参考书


本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏AI研习社

如何在 Scratch 中用 Python 构建神经网络

动机:为了更加深入的理解深度学习,我们将使用 python 语言从头搭建一个神经网络,而不是使用像 Tensorflow 那样的封装好的框架。我认为理解神经网络...

1731
来自专栏张俊红

决策树详解

总第79篇 01|背景: 我们在日常生活中经常会遇到一些选择需要去做一些选择,比如我们在找工作的时候每个人都希望能找到一个好的工作,但是公司那么多,工作种类那么...

3735
来自专栏计算机视觉战队

线性分类原来是这么一回事,skr~

SVM是最常用的两个分类器之一,而另一个就是Softmax分类器,它的损失函数与SVM的损失函数不同。

1243
来自专栏TensorFlow从0到N

TensorFlow从0到1 - 10 - NN基本功:反向传播的推导

上一篇 9 “驱魔”之反向传播大法引出了反向传播算法——神经网络的引擎,并在最后窥探了它的全貌。本篇将详细的讨论反向传播各方面的细节。尽管它被TensorFl...

4226
来自专栏SIGAI学习与实践平台

基于内容的图像检索技术综述-CNN方法

传统方法在图像检索技术上一直表现平平。比如传统方法常用的SIFT特征,它对一定程度内的缩放、平移、旋转、视角改变、亮度调整等畸变,都具有不变性,是当时最重要的图...

2525
来自专栏外文文献翻译

从潜在向量生成大图像 - 第二部分

更多分辨率为1080x1080的MNIST数字

24610
来自专栏小樱的经验随笔

回归与梯度下降法及实现原理

回归与梯度下降 回归在数学上来说是给定一个点集,能够用一条曲线去拟合之,如果这个曲线是一条直线,那就被称为线性回归,如果曲线是一条二次曲线,就被称为二次回归,回...

3976
来自专栏计算机视觉战队

每日一学——线性分类笔记(下)

Softmax分类器 SVM是最常用的两个分类器之一,而另一个就是Softmax分类器,它的损失函数与SVM的损失函数不同。对于学习过二元逻辑回归分类器的读者来...

4247
来自专栏小小挖掘机

整理一份机器学习资料!

本系列主要根据吴恩达老师的课程、李航老师的统计学习方法以及自己平时的学习资料整理!在本文章中,有些地方写的十分简略,不过详细的介绍我都附上了相应的博客链接,大家...

1752
来自专栏大数据挖掘DT机器学习

隐马尔可夫模型攻略

隐马尔可夫模型 (Hidden Markov Model,HMM) 最初由 L. E. Baum 和其它一些学者发表在一系列的统计学论文中,随后在语言识别,自然...

37311

扫码关注云+社区

领取腾讯云代金券