【深度学习】深度学习中的一些数学公式

1、得分函数:

2、SVM损失函数:

3、加入正则化惩罚项的SVM损失函数:

其中,

为正则化惩罚项。

4、L2正则化:

那么,加入正则化惩罚项的SVM损失函数

5、交叉熵损失(cross-entropy loss)函数:

其中,

被称作softmax函数。

其输入值是一个向量,向量中元素为任意实数的评分值;输出是一个向量,其中每个元素值在0到1之间,且所有元素之和为1。

6、SVM损失函数输出的是一个值,softmax损失函数输出的是一个概率。

7、梯度函数:

深度学习中所说的学习率即是梯度下降的步长。

8、单层的神经网络:

双层的神经网络:

其中,W1、W2、W3为权重参数,max为激活函数。

单层的神经网络相当于线性分类。

简单的神经网络模型可参考:http://cs.stanford.edu/people/karpathy/convnetjs/demo/classify2d.html

9、有下列激活函数:

Sigmoid函数、tanh(x)函数、ReLu函数(即函数max(0,x))。

10、anaconda可从镜像网站下载,如:http://mirrors.tuna.tsinghua.edu.cn/anaconda/archive

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

编辑于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏数据科学与人工智能

【Python环境】Python分类现实世界的数据

引入 一个机器可以根据照片来辨别鲜花的品种吗?在机器学习角度,这其实是一个分类问题,即机器根据不同品种鲜花的数据进行学习,使其可以对未标记的测试图片数据进行分类...

2586
来自专栏UAI人工智能

基于RLLAB的强化学习 REINFORCE 算法解析

1332
来自专栏深度学习与计算机视觉

特征提取方法(二):LBP原理与OpenCV实现

LBP简介 LBP(Local Binary Pattern)算法是一种描述图像特征像素点与各个像素点之间的灰度关系的局部特征的非参数算法,同时也是一张高效的纹...

4768
来自专栏机器学习算法与Python学习

干货 | 条件随机场详解之模型篇

关键字全网搜索最新排名 【机器学习算法】:排名第一 【机器学习】:排名第二 【Python】:排名第三 【算法】:排名第四 条件随机场部分分为两篇讲解,今天这一...

1953
来自专栏张俊红

Sklearn参数详解—LR模型

8676
来自专栏https://www.cnblogs.com/L

【TensorFlow篇】--DNN初始和应用

正向传播:在开始的每一层上都有一个参数值w,初始的时候是随机的,前向带入的是每一个样本值。

922
来自专栏人人都是极客

Peter教你谈情说AI | 07决策树(上)—既能回归又能分类的模型

前面我们讲了线性回归模型和朴素贝叶斯分类模型。前者只能做回归,后者只能做分类。但本文中要讲的决策树模型,却既可以用于回归,又可以用于分类。

803
来自专栏人工智能LeadAI

线性回归与最小二乘法 | 机器学习笔记

这篇笔记会将几本的线性回归概念和最小二乘法。 在机器学习中,一个重要而且常见的问题就是学习和预测特征变量(自变量)与响应的响应变量(应变量)之间的函数关系 ...

2977
来自专栏AI科技大本营的专栏

从零开始学习 PyTorch:多层全连接神经网络

本文引自博文视点新书《深度学习入门之PyTorch》第3 章——多层全连接神经网络 内容提要:深度学习如今已经成为科技领域最炙手可热的技术,在《深度学习入门之...

76811
来自专栏PaddlePaddle

【序列到序列学习】使用Scheduled Sampling改善翻译质量

生成古诗词 序列到序列学习实现两个甚至是多个不定长模型之间的映射,有着广泛的应用,包括:机器翻译、智能对话与问答、广告创意语料生成、自动编码(如金融画像编码)...

6605

扫码关注云+社区