【深度学习】深度学习中的一些数学公式

1、得分函数:

2、SVM损失函数:

3、加入正则化惩罚项的SVM损失函数:

其中,

为正则化惩罚项。

4、L2正则化:

那么,加入正则化惩罚项的SVM损失函数

5、交叉熵损失(cross-entropy loss)函数:

其中,

被称作softmax函数。

其输入值是一个向量,向量中元素为任意实数的评分值;输出是一个向量,其中每个元素值在0到1之间,且所有元素之和为1。

6、SVM损失函数输出的是一个值,softmax损失函数输出的是一个概率。

7、梯度函数:

深度学习中所说的学习率即是梯度下降的步长。

8、单层的神经网络:

双层的神经网络:

其中,W1、W2、W3为权重参数,max为激活函数。

单层的神经网络相当于线性分类。

简单的神经网络模型可参考:http://cs.stanford.edu/people/karpathy/convnetjs/demo/classify2d.html

9、有下列激活函数:

Sigmoid函数、tanh(x)函数、ReLu函数(即函数max(0,x))。

10、anaconda可从镜像网站下载,如:http://mirrors.tuna.tsinghua.edu.cn/anaconda/archive

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

编辑于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏拭心的安卓进阶之路

Java 集合深入理解(6):AbstractList

今天心情比天蓝,来学学 AbstractList 吧! ? 什么是 AbstractList ? AbstractList 继承自 AbstractCollec...

20910
来自专栏赵俊的Java专栏

从源码上分析 ArrayList

1211
来自专栏ml

朴素贝叶斯分类器(离散型)算法实现(一)

1. 贝叶斯定理:        (1)   P(A^B) = P(A|B)P(B) = P(B|A)P(A)   由(1)得    P(A|B) = P(B|...

3667
来自专栏xingoo, 一个梦想做发明家的程序员

AOV网络拓扑排序

这个算法,主要是为输出一个无环图的拓扑序列 算法思想: 主要依赖一个栈,用来存放没有入度的节点,每次读取栈顶元素,并将栈顶元素的后继节点入度减一,如果再次出现入...

1975
来自专栏后端之路

LinkedList源码解读

List中除了ArrayList我们最常用的就是LinkedList了。 LInkedList与ArrayList的最大区别在于元素的插入效率和随机访问效率 ...

21110
来自专栏学海无涯

Android开发之奇怪的Fragment

说起Android中的Fragment,在使用的时候稍加注意,就会发现存在以下两种: v4包中的兼容Fragment,android.support.v4.ap...

3225
来自专栏alexqdjay

HashMap 多线程下死循环分析及JDK8修复

1.2K4
来自专栏java闲聊

JDK1.8 ArrayList 源码解析

当运行 ArrayList<Integer> list = new ArrayList<>() ; ,因为它没有指定初始容量,所以它调用的是它的无参构造

1242
来自专栏计算机视觉与深度学习基础

Leetcode 114 Flatten Binary Tree to Linked List

Given a binary tree, flatten it to a linked list in-place. For example, Given...

2108
来自专栏项勇

笔记68 | 切换fragmengt的replace和add方法笔记

1544

扫码关注云+社区