人工智能-深度学习

空山鸣响,静水流深:深度学习概述


深度学习的一些简介,其要点如下:

  • 深度学习实际上是基于具有多个隐藏层的神经网络的学习;
  • 深度学习的思想来源于人类处理视觉信息的方式;
  • 深度学习的发展得益于数据的井喷和计算力的飙升;
  • 深度学习的理论基础依然有待深入。

image

前方有路,未来可期:深度前馈网络


作为学习模型的深度前馈网络存在的一些共性问题,其要点如下:

  • 深度前馈网络利用深度架构实现工程上可实现的对任意函数的通用逼近;
  • 深度前馈网络使用梯度下降的方法进行学习;
  • 深度前馈网络的损失函数通常是交叉熵或最小均方误差;
  • 深度前馈网络的隐藏神经元通常使用整流线性单元作为传递函数。

image

小树不修不直溜:深度学习中的正则化


实现正则化的思路,其要点如下:

  • 基于训练数据的正则化方法包括数据集增强和 Dropout;
  • 基于网络架构的正则化方法包括参数共享和传递函数正则化;
  • 基于误差函数和正则化项的正则化方法包括使用 范数和 范数;
  • 基于最优化过程的正则化方法包括早停。

image

玉不琢不成器:深度学习中的优化


深度学习中实现优化的思路,其要点如下:

  • 深度学习中的优化需要解决病态矩阵、局部极小值和鞍点等问题;
  • 深度学习优化中的降噪方法包括动态采样、梯度聚合和迭代平均;
  • 深度学习优化中的二阶导数近似方法是对原始牛顿法的各种改进;
  • 其他优化方法包括动量方法、加速下降方法和坐标下降方法。

image

空竹里的秘密:自编码器


自编码器的原理与特点,其要点如下:

  • 自编码器是一种无监督学习方式,目的在于学习数据的重新表达;
  • 多个浅层自编码器级联可以得到深度的栈式自编码器,并使用无监督预训练结合有监督微调的方式加以训练;
  • 稀疏自编码器利用稀疏的高维表达提取出训练集中隐含的统计规律;
  • 变分自编码器对隐藏层做参数化处理,可以用于学习数据的生成模型。

image

困知勉行者勇:深度强化学习


深度强化学习(deep reinforcement learning)是深度学习和强化学习的结合,它将深度学习的感知能力和强化学习的决策能力熔于一炉,用深度学习的运行机制达到强化学习的优化目标,从而向通用人工智能迈进。

深度强化学习的简单原理与方法分类,其要点如下:

  • 深度强化学习是深度学习和强化学习的结合,有望成为实现通用人工智能的关键技术;
  • 基于价值的深度强化学习的基本思路是建立价值函数的表示,通过优化价值函数得到最优策略;
  • 基于策略的深度强化学习的基本思路是直接搜索能够使未来奖励最大化的最优策略;
  • 基于模型的深度强化学习的基本思路是构造关于环境的转移概率模型,再用这个模型指导策略。

image

拓展阅读参考书


本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏IT派

机器学习各类算法比较

导语:机器学习算法太多了,分类、回归、聚类、推荐、图像识别领域等等,要想找到一个合适算法真的不容易,所以在实际应用中,我们一般都是采用启发式学习方式来实验。通常...

40712
来自专栏计算机视觉战队

线性分类原来是这么一回事,skr~

SVM是最常用的两个分类器之一,而另一个就是Softmax分类器,它的损失函数与SVM的损失函数不同。

803
来自专栏SIGAI学习与实践平台

­­-机器学习和深度学习中值得弄清楚的一些问题 SIGAI飞跃计划答疑精华问题汇总

原创声明:本文为 SIGAI 原创文章,仅供个人学习使用,未经允许,不得转载,不能用于商业目的。

813
来自专栏人工智能LeadAI

多层感知机(MLP)与神经网络结构 | 深度学习笔记

为了尽量能形成系统的体系,作为最基本的入门的知识,请参考一下之前的一篇:感知机 | 神经网络 。 上篇文章让你形成对于神经网络最感性的理解。有些看不懂的直接忽...

4419
来自专栏专知

【论文读书笔记】无监督视频物体分割新思路:实例嵌入迁移

【导读】 近日,针对视频物体分割中缺乏训练样本和准确率较低的问题,来自美国南加州大学、谷歌公司的学者发表论文提出基于实例嵌入迁移的无监督视频物体分割方法。其通过...

4154
来自专栏SIGAI学习与实践平台

深度多目标跟踪算法综述

原创声明:本文为 SIGAI 原创文章,仅供个人学习使用,未经允许,不得转载,不能用于商业目的。

892
来自专栏Bingo的深度学习杂货店

吴恩达 —— 深度学习 Course 1 笔记

Course1:神经网络和深度学习,包括: ---- [1] Week1:深度学习概述 [2] Week2:神经网络基础 [3] Week3:浅层神经网络 ...

2908
来自专栏SIGAI学习与实践平台

机器学习算法地图

很多同学在学机器学习和深度学习的时候都有一个感受:所学的知识零散、不系统,缺乏整体感,这是普遍存在的一个问题。在这里,SIGAI对常用的机器学习和深度学习算法进...

2783
来自专栏PPV课数据科学社区

机器学习算法比较

本文主要回顾下几个常用算法的适应场景及其优缺点!(提示:部分内容摘自网络)。 机器学习算法太多了,分类、回归、聚类、推荐、图像识别领域等等,要想找到一个合适算法...

2759
来自专栏大数据挖掘DT机器学习

你看到的最直白清晰的,神经网络中的反向传播法讲解

最近在看深度学习的东西,一开始看的吴恩达的UFLDL教程,有中文版就直接看了,后来发现有些地方总是不是很明确,又去看英文版,然后又找了些资料看,才发现,中文版的...

2875

扫码关注云+社区