【报告】一篇文章详解深度学习的原理和运用

作者:数据挖掘与数据分析

深度学习 ( Deep Learning ) 是机器学习 ( Machine Learning ) 中近年来备受重视的一支,深度学习根源于类神经网络 ( Artificial Neural Network ) 模型,但今日深度学习的技术和它的前身已截然不同,目前最好的语音识别和影像辨识系统都是以深度学习技术来完成,你可能在很多不同的场合听过各种用深度学习做出的惊人应用 ( 例如:最近红遍大街小巷的 AlphaGo ),听完以后觉得心痒痒的,想要赶快使用这项强大的技术,却不知要从何下手学习,那这门课就是你所需要的

大纲:

报告第一部分:介绍深度学习

报告第二部分:关于训练深度神经网络的一些建议

报告第三部分:各种各样的神经网络

报告第四部分:下一股浪潮

报告1:深度学习介绍

深度学习有3步:神经网络架构--学习目标--学习。

这三个步骤都是以数据为基础的。

  第3步:选择最佳的功能函数。

从原理上说,深度学习非常简单。

从函数的角度理解深度学习:第一步,是一个函数集;第二步,定义函数的拟合度;第三部,选择最佳函数。

人类大脑的构成

神经网络:神经元

激活函数的工作原理

不同的连接会导致不同的网络结构

完全连接的反向网络:S型网络

极深网络:从8层到19层,一直到152层。

全连接的反向网络:矩阵系统

  输出层(选择)

问题:

下图中,总共有多少层?每一层有多少个神经元?

结构能自动决定吗?

第二步:学习目标,定义函数拟合度。

  例子:识别“2”

训练数据:

准备训练数据:图像和相应的标签

学习目标

损失:一个好的函数应该让所有例子中的损失降到最小。

全局损失

第三步:学习!选择最佳函数。

  如何选择最佳函数

  梯度下降

梯度下降:综合多个参数考虑的时候,你发现什么问题了吗?

局部最小值:梯度下降从来不会保证可以获得全局最小值

  反向传播

可以做什么?

第二部分:关于训练深度神经网络的一些小建议

原文发布于微信公众号 - 钱塘大数据(qtbigdata)

原文发表时间:2017-09-21

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏媒矿工厂

图像模糊度评价性能提升方法简介

背景介绍 随着多媒体技术的发展,图像以及视频服务逐渐成为人们获取信息的主要载体。传统上,视频或图像质量的好坏需要人眼去看,并且为了得到一个合适的评价分数,一般需...

6256
来自专栏AI科技评论

独家 | 利用特权信息、语义信息和多源信息辅助基于网络数据的学习

雷锋网 AI 科技评论按:本文由美国莱斯大学博士后牛力为 AI 科技评论提供的独家稿件,未经许可不得转载。

1172
来自专栏机器学习算法工程师

《机器学习》笔记-特征选择与稀疏学习(11)

如今机器学习和深度学习如此火热,相信很多像我一样的普通程序猿或者还在大学校园中的同学,一定也想参与其中。不管是出于好奇,还是自身充电,跟上潮流,我觉得都值得试一...

1304
来自专栏专知

【明星自动大变脸,嬉笑怒骂加变性】最新StarGAN对抗生成网络实现多领域图像变换(附代码)

【导读】图像之间的风格迁移和翻译是近年来最受关注的人工智能研究方向之一,这个任务在具有趣味性的同时也是很有挑战的。相关的研究成果也层出不穷,有的甚至引起了全世界...

4369
来自专栏新智元

Ian Goodfellow:生成对抗网络 GAN 的公式是怎样推导出来的

1995
来自专栏Small Code

使用集成学习提升机器学习算法性能

译者注:这篇文章是对 PythonWeekly 推荐的一篇讲集成模型的文章的翻译,原文为 Ensemble Learning to Improve Machi...

3037
来自专栏AI研习社

怎样信息最大化?什么是“范例卷积神经网络”?这篇文章告诉你答案

AI 研习社按:本文由图普科技编译自《Exemplar CNNs and Information Maximization》,雷锋网 AI 研习社独家首发。文中...

3206
来自专栏ATYUN订阅号

谷歌大脑团队新尝试 用奇异向量典型相关分析解释深度神经网络

深度神经网络(DNNs)在视觉、语言理解和语音识别等领域取得了前所未有的进展。但这些成功也带来了新的挑战。与许多以前的机器学习方法不同的是,深度神经网络可以很容...

3668
来自专栏量子位

我搭的神经网络不work该怎么办!看看这11条新手最容易犯的错误

王瀚宸 王小新 编译自 TheOrangeDuck 量子位 出品 | 公众号 QbitAI ? 每个人在调试神经网络的时候,大概都遇到过这样一个时刻: 什么鬼!...

3639
来自专栏机器之心

教程 | 一文简述如何使用嵌套交叉验证方法处理时序数据

1983

扫码关注云+社区