深度学习笔记-神经网络基础


Binary Classification

logistic是一个用于二元分类的算法,所谓二元分类就是该预测结果只有两种类别。比如:预测图片中的是不是cat,只存在是或者不是。1代表cat,0代表non cat。如下图片:

假如cat的照片的width和height都是64x64,由于图像是一张彩色图所以是三通道的颜色值(红,绿,蓝)。所以该图像所有的颜色强度值为:64x64x3=12288即x,输入向量x的维度n.我们的目的是训练出一个分类器,它以图片的特征向量x作为输入,预测输出的结果标签y,是1还是0.

常用符号

Logistic Regression 模型

下图所示是sigmoid函数图形:

具有如下特性: 1.sigmoid(z)的值在0-1范围内。 2.当z是一个很大的数值时,sigmod的值为1. 3.当z时一个很小的数值时,simoid的值为0. 4.z=0,sigmoid(z)=0.5 Logistic Regression模型通用的是结构是:

y=w^Tx+b

模型评估

我们通过训练集找到了w和b,训练出来的预测值希望更接近于实际的值。那么如何衡量预测值和实际值?我们引入Loss Function和Cost Function。

Loss Function

Cost Function

随机梯度下降算法

依据上面的代价函数,我们通过随机梯度下降算法来找到一个w,b使得代价函数最小化。需要清除的是,现在x是训练数据集是已知的,我们对w,b是未知的。此时你可以为理解为w,b是自变量,J是因变量。刚开始时,w,b都是随机取得数值,一般都取值为0. 我们来看一下如下图所示:

在研究多元变量函数极值问题中,可以采用研究一元函数极值问题。我们假定b固定,来看一下w的变化:

logistic回归的梯度下降算法

Loss Function的logistic回归梯度下降算法

为了计算 下面是前向传播的示意图:

我们做的就是来变换w1,w2和b的值使得,损失函数最低。 如果我们想计算L的导数,那么首先计算L关于a的偏导数即da,那么我们需要继续求得关于dz的导数,最后在求出dw1。 下面我们看看在多样本情况下即m个样本情况下如何计算的?

Cost Function的logistic回归梯度下降算法

我们通过cost function看到是基于loss function的平均,由于知道之前loss function的导数把他们应用在所有样本集即可。如下图所示:

Logistic Regression 推导

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏机器之心

从零开始:教你如何训练神经网络

选自TowardsDataScience 作者:Vitaly Bushaev 机器之心编译 作者从神经网络简单的数学定义开始,沿着损失函数、激活函数和反向传播等...

2595
来自专栏机器之心

学界 | 将未来信息作为正则项,Twin Networks加强RNN对长期依赖的建模能力

3048
来自专栏PaddlePaddle

卷积神经网络的基本结构

深度学习基础理论-CNN篇 卷积神经网络的基本结构 ? 总体来说,卷积神经网络是一种层次模型(hierarchical model),其输入是原始数据(ra...

43213
来自专栏智能算法

三个臭皮匠顶个诸葛亮的随机森林算法!

随机森林一个已被证明了的成功的集成分类器,特别是用在多维分类问题上更是体现出其强大之处。一个随机森林是一个决策树的集合,可以看作是一个分类器包括很多不同的决策...

42312
来自专栏ATYUN订阅号

【学术】如何在神经网络中选择正确的激活函数

在神经网络中,激活函数是必须选择的众多参数之一,以通过神经网络获得最优的成果和性能。 在这篇文章中,我将假设你已经理解了神经网络工作的基本原理,并将详细介绍涉及...

35410
来自专栏企鹅号快讯

详解决策树 C4.5 算法

‍‍‍‍ 转自:Treant http://www.cnblogs.com/en-heng/p/5013995.html 决策树模型与学习 决策树(decisi...

3576
来自专栏大数据挖掘DT机器学习

你看到的最直白清晰的,神经网络中的反向传播法讲解

最近在看深度学习的东西,一开始看的吴恩达的UFLDL教程,有中文版就直接看了,后来发现有些地方总是不是很明确,又去看英文版,然后又找了些资料看,才发现,中文版的...

3175
来自专栏专知

【计算机视觉】检测与分割详解

【导读】神经网络在计算机视觉领域有着广泛的应用。只要稍加变形,同样的工具和技术就可以有效地应用于广泛的任务。在本文中,我们将介绍其中的几个应用程序和方法,包括语...

1593
来自专栏人人都是极客

Peter教你谈情说AI | 07决策树(上)—既能回归又能分类的模型

前面我们讲了线性回归模型和朴素贝叶斯分类模型。前者只能做回归,后者只能做分类。但本文中要讲的决策树模型,却既可以用于回归,又可以用于分类。

1253
来自专栏人工智能

从零开始教你训练神经网络

来源:机器之心 作者:Vitaly Bushaev 本文长度为8900字,建议阅读15分钟 本文从神经网络简单的数学定义开始,沿着损失函数、激活函数和反向传播等...

3149

扫码关注云+社区

领取腾讯云代金券