前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >深度学习笔记-神经网络基础

深度学习笔记-神经网络基础

作者头像
吕海峰
发布2018-04-03 15:34:38
6460
发布2018-04-03 15:34:38
举报
文章被收录于专栏:Brian

Binary Classification

logistic是一个用于二元分类的算法,所谓二元分类就是该预测结果只有两种类别。比如:预测图片中的是不是cat,只存在是或者不是。1代表cat,0代表non cat。如下图片:

Binary Cat
Binary Cat

假如cat的照片的width和height都是64x64,由于图像是一张彩色图所以是三通道的颜色值(红,绿,蓝)。所以该图像所有的颜色强度值为:64x64x3=12288即x,输入向量x的维度n.我们的目的是训练出一个分类器,它以图片的特征向量x作为输入,预测输出的结果标签y,是1还是0.

常用符号

Logistic Regression 模型

下图所示是sigmoid函数图形:

Sigmoid Function
Sigmoid Function

具有如下特性: 1.sigmoid(z)的值在0-1范围内。 2.当z是一个很大的数值时,sigmod的值为1. 3.当z时一个很小的数值时,simoid的值为0. 4.z=0,sigmoid(z)=0.5 Logistic Regression模型通用的是结构是:

y=w^Tx+b

模型评估

我们通过训练集找到了w和b,训练出来的预测值希望更接近于实际的值。那么如何衡量预测值和实际值?我们引入Loss Function和Cost Function。

Loss Function

Cost Function

随机梯度下降算法

依据上面的代价函数,我们通过随机梯度下降算法来找到一个w,b使得代价函数最小化。需要清除的是,现在x是训练数据集是已知的,我们对w,b是未知的。此时你可以为理解为w,b是自变量,J是因变量。刚开始时,w,b都是随机取得数值,一般都取值为0. 我们来看一下如下图所示:

Gradient Descent
Gradient Descent

在研究多元变量函数极值问题中,可以采用研究一元函数极值问题。我们假定b固定,来看一下w的变化:

Gradient Descent J(w,b)
Gradient Descent J(w,b)

logistic回归的梯度下降算法

Loss Function的logistic回归梯度下降算法

为了计算 下面是前向传播的示意图:

两个特征值得样本
两个特征值得样本

我们做的就是来变换w1,w2和b的值使得,损失函数最低。 如果我们想计算L的导数,那么首先计算L关于a的偏导数即da,那么我们需要继续求得关于dz的导数,最后在求出dw1。 下面我们看看在多样本情况下即m个样本情况下如何计算的?

Cost Function的logistic回归梯度下降算法

我们通过cost function看到是基于loss function的平均,由于知道之前loss function的导数把他们应用在所有样本集即可。如下图所示:

M Cost Function
M Cost Function

Logistic Regression 推导

本文参与 腾讯云自媒体同步曝光计划,分享自作者个人站点/博客。
原始发表:2017-08-08,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • Binary Classification
    • 常用符号
    • Logistic Regression 模型
    • 模型评估
      • Loss Function
        • Cost Function
        • 随机梯度下降算法
        • logistic回归的梯度下降算法
          • Loss Function的logistic回归梯度下降算法
            • Cost Function的logistic回归梯度下降算法
            • Logistic Regression 推导
            领券
            问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档