【深度学习】深度学习中的一些数学公式

1、得分函数:

2、SVM损失函数:

3、加入正则化惩罚项的SVM损失函数:

其中,

为正则化惩罚项。

4、L2正则化:

那么,加入正则化惩罚项的SVM损失函数

5、交叉熵损失(cross-entropy loss)函数:

其中,

被称作softmax函数。

其输入值是一个向量,向量中元素为任意实数的评分值;输出是一个向量,其中每个元素值在0到1之间,且所有元素之和为1。

6、SVM损失函数输出的是一个值,softmax损失函数输出的是一个概率。

7、梯度函数:

深度学习中所说的学习率即是梯度下降的步长。

8、单层的神经网络:

双层的神经网络:

其中,W1、W2、W3为权重参数,max为激活函数。

单层的神经网络相当于线性分类。

简单的神经网络模型可参考:http://cs.stanford.edu/people/karpathy/convnetjs/demo/classify2d.html

9、有下列激活函数:

Sigmoid函数、tanh(x)函数、ReLu函数(即函数max(0,x))。

10、anaconda可从镜像网站下载,如:http://mirrors.tuna.tsinghua.edu.cn/anaconda/archive

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

编辑于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏PaddlePaddle

卷积层

深度学习基础理论-CNN篇 卷积层 卷积层(convolution layer)是卷积神经网络中的基础操作,甚至在网络最后起分类作用的全连接层在工程实现时也...

3549
来自专栏Brian

机器学习常用算法-线性回归算法

1704
来自专栏null的专栏

简单易学的机器学习算法——线性支持向量机

一、线性支持向量机的概念     线性支持向量机是针对线性不可分的数据集的,这样的数据集可以通过近似可分的方法实现分类。对于这样的数据集,类似线性可分支持向量机...

3616
来自专栏机器学习原理

深度学习(5)——RBF算法简介

1083
来自专栏Petrichor的专栏

深度学习: 随机失活 (dropout)

按概率p 随机 将神经元 置 0 [如下(b)图],以 缓解 神经元之间 隐形的协同适应,从而达到降低模型复杂度的目的:

1038
来自专栏机器学习算法全栈工程师

Scikit-learn之决策树

作者:章华燕 编辑:黄俊嘉 决策树在学习应用中非常有用,接下来给大家分享一下自己有关于决策树的一些想法! 决策树概述 决策树是一个非参数的监督式学习方法,主要用...

2746
来自专栏YG小书屋

简单二层神经网络介绍

1894

对于小批量梯度下降以及如何配置批量大小的入门级介绍

随机梯度下降是训练深度学习模型的主要方法。

2055
来自专栏社区的朋友们

跬步神经网络:基本模型解析

最近开始看NN,很多疑问。微积分什么的早丢了,边看边查,记录备忘。 本篇主要是针对最基本的网络模型,解释反向传播(backpropagation)原理。

2852
来自专栏fangyangcoder

Andrew Ng机器学习课程笔记(三)之正则化

http://www.cnblogs.com/fydeblog/p/7365475.html

451

扫码关注云+社区