前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >[DeeplearningAI笔记]第一章2.1-2.4二分分类,logistic回归,梯度下降法

[DeeplearningAI笔记]第一章2.1-2.4二分分类,logistic回归,梯度下降法

作者头像
演化计算与人工智能
发布2020-08-14 11:31:32
6520
发布2020-08-14 11:31:32
举报

[DeeplearningAI 笔记]第一章2.1-2.4 二分分类,logistic 回归,logistic 回归损失函数,梯度下降法

吴恩达老师课程原地址[1]

2.1 二分分类

  • 在二分分类问题中,目标是训练出一个分类器,它以图片的特征向量 x 作为输入,预测输出的结果标签 y 是 1 还是 0.在图像识别猫图片的例子中也就是预测图片中是否有猫.

2.2 logistic 回归

  • 已知的输入的特征向量 x,可能是一张图,你需要将其识别出这是不是一张猫图,你需要一个算法,给出一个预测值,这里我们将预测值表示为
\hat{y}

.就是你对 y 的预测,正式的说你希望 y 是一个预测的概率值.当输入特征 x 满足条件时,y 就是 1.你希望

\hat{y}

告诉你这是一张猫图的概率.如果我们使用线性方程的计算表示,这里的图片是一个 n 维的向量,我们设置里的 w 也是一个 n 维的向量,则此时的方程是

\hat{y}=W^{T}.x+b

但是通过这样计算得出的值表示 y 是一个有可能是一个比 1 大的数,有可能是负数的值,而我们需要计算的概率应该是在 0~1 之间的范围内.所以我们单纯的计算这样的

\hat{y}

是没有意义的,所以在 logistic regression 中我们将 sigmoid 函数作用到这个量上.

sigmoid 函数

数据保存格式

  1. 图片保存格式
  1. 数据保存格式

2.3 logistic 回归损失函数

loss function

  • loss function 损失函数,可以用来衡量算法的运行情况,你可以定 loss function 为
\hat{y}

和 y 的差的平方,或者是差的平方的 1/2.结果表明你可以这样做,但是通常在 logistic 回归中,大家都不这样做,因为使用这个 loss function 在做优化问题时,优化函数会变成非凸的最后会得到很多个局部最优解.梯度下降法可能找不到全局最优解.直观的解释是我们通过 loss function 来衡量你的预测输出值

\hat{y}

和 y 的实际值有多接近.

  • 所以为了解决这个问题,在使用优化器进行优化的时候使其成为一个凸的函数,我们在这里使用交叉熵数
-((y^{(i)}*log(\hat{y}^{(i)})+(1-y^{(i)})*log(1-\hat{y}^{(i)}))

cost function

  • loss function(损失函数)只适用于单个训练样本,但是 cost function(成本函数)则是基于整体训练集.所以在训练 logistic regression 的模型时,我们要找到合适的参数 W 和 b 使 cost function 计算得到的值尽可能小.
-\frac{1}{m}\sum_{i=1}^m((y^{(i)}*log(\hat{y}^{(i)})+(1-y^{(i)})*log(1-\hat{y}^{(i)}))

2.4 梯度下降法

  • 在此图中横轴表示参数 w 和 b,在实践中 w 可以是更高维度的数据,此处为了绘制图片,我们将其设置为一个实数,b 也是一个实数,成本函数 J(W,b)是在水平轴 w 和 b 上的曲面,曲面的高度表示 J(W,b)在某一点的值,我们想要做的就是找到这样的 W 和 b 使其对应的成本函数 J 值是最小值.我们这里使用的 cost function 是交叉熵函数是一个凸函数,这是 logistic 回归使用这个特定成本函数 J 的重要原因之一.

参考资料

[1]

吴恩达老师课程原地址: https://mooc.study.163.com/smartSpec/detail/1001319001.htm

本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2020-04-18,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 DrawSky 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • [DeeplearningAI 笔记]第一章2.1-2.4 二分分类,logistic 回归,logistic 回归损失函数,梯度下降法
  • 2.1 二分分类
  • 2.2 logistic 回归
    • sigmoid 函数
      • 数据保存格式
      • 2.3 logistic 回归损失函数
        • loss function
          • cost function
          • 2.4 梯度下降法
            • 参考资料
            相关产品与服务
            对象存储
            对象存储(Cloud Object Storage,COS)是由腾讯云推出的无目录层次结构、无数据格式限制,可容纳海量数据且支持 HTTP/HTTPS 协议访问的分布式存储服务。腾讯云 COS 的存储桶空间无容量上限,无需分区管理,适用于 CDN 数据分发、数据万象处理或大数据计算与分析的数据湖等多种场景。
            领券
            问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档