首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >人工智能-深度学习

人工智能-深度学习

作者头像
iOSDevLog
发布2018-06-13 14:50:06
5390
发布2018-06-13 14:50:06
举报
文章被收录于专栏:iOSDevLogiOSDevLog

空山鸣响,静水流深:深度学习概述


深度学习的一些简介,其要点如下:

  • 深度学习实际上是基于具有多个隐藏层的神经网络的学习;
  • 深度学习的思想来源于人类处理视觉信息的方式;
  • 深度学习的发展得益于数据的井喷和计算力的飙升;
  • 深度学习的理论基础依然有待深入。

image

前方有路,未来可期:深度前馈网络


作为学习模型的深度前馈网络存在的一些共性问题,其要点如下:

  • 深度前馈网络利用深度架构实现工程上可实现的对任意函数的通用逼近;
  • 深度前馈网络使用梯度下降的方法进行学习;
  • 深度前馈网络的损失函数通常是交叉熵或最小均方误差;
  • 深度前馈网络的隐藏神经元通常使用整流线性单元作为传递函数。

image

小树不修不直溜:深度学习中的正则化


实现正则化的思路,其要点如下:

  • 基于训练数据的正则化方法包括数据集增强和 Dropout;
  • 基于网络架构的正则化方法包括参数共享和传递函数正则化;
  • 基于误差函数和正则化项的正则化方法包括使用 范数和 范数;
  • 基于最优化过程的正则化方法包括早停。

image

玉不琢不成器:深度学习中的优化


深度学习中实现优化的思路,其要点如下:

  • 深度学习中的优化需要解决病态矩阵、局部极小值和鞍点等问题;
  • 深度学习优化中的降噪方法包括动态采样、梯度聚合和迭代平均;
  • 深度学习优化中的二阶导数近似方法是对原始牛顿法的各种改进;
  • 其他优化方法包括动量方法、加速下降方法和坐标下降方法。

image

空竹里的秘密:自编码器


自编码器的原理与特点,其要点如下:

  • 自编码器是一种无监督学习方式,目的在于学习数据的重新表达;
  • 多个浅层自编码器级联可以得到深度的栈式自编码器,并使用无监督预训练结合有监督微调的方式加以训练;
  • 稀疏自编码器利用稀疏的高维表达提取出训练集中隐含的统计规律;
  • 变分自编码器对隐藏层做参数化处理,可以用于学习数据的生成模型。

image

困知勉行者勇:深度强化学习


深度强化学习(deep reinforcement learning)是深度学习和强化学习的结合,它将深度学习的感知能力和强化学习的决策能力熔于一炉,用深度学习的运行机制达到强化学习的优化目标,从而向通用人工智能迈进。

深度强化学习的简单原理与方法分类,其要点如下:

  • 深度强化学习是深度学习和强化学习的结合,有望成为实现通用人工智能的关键技术;
  • 基于价值的深度强化学习的基本思路是建立价值函数的表示,通过优化价值函数得到最优策略;
  • 基于策略的深度强化学习的基本思路是直接搜索能够使未来奖励最大化的最优策略;
  • 基于模型的深度强化学习的基本思路是构造关于环境的转移概率模型,再用这个模型指导策略。

image

拓展阅读参考书


本文参与 腾讯云自媒体分享计划,分享自作者个人站点/博客。
原始发表:2018.05.28 ,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体分享计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 空山鸣响,静水流深:深度学习概述
  • 前方有路,未来可期:深度前馈网络
  • 小树不修不直溜:深度学习中的正则化
  • 玉不琢不成器:深度学习中的优化
  • 空竹里的秘密:自编码器
  • 困知勉行者勇:深度强化学习
  • 拓展阅读参考书
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档