逻辑回归(NN Mindset)

Andrew CS230: Deep Learning课程笔记。Logistic Regression with a Neural Network mindset

Forward

LR由输入到Loss,可看做简易神经网络的前向传播。其计算过程可用计算图表示:

lr-computation-graph

其中z和线性回归的输出是完全一致的。$\hat y = a = \sigma(z)$,a作为activation的简写,和神经网络的激活函数保持一致。$\sigma$表示sigmoid函数,是激活函数的一种。

Backward

LR由Loss对变量求导,可看做简易神经网络的反向传播。其计算过程可用计算图表示:

lr-derivative

利用链式求导法则,az都是中间变量,最后对wb求导。注意$a=\sigma(z)$的导数是$a(1-a)$,简单也好推导,记住即可。

Vectorization

对多个training sample,用循环性能很差,利用科学计算的向量化。通过推导得到$dz = A - Y$,然后计算$dw = \frac{1}{m}X dz^T$和$db = \frac{1}{m} np.sum(dz)$。关于$\frac{1}{m}$可这样理解,每一个样本在对梯度计算都有贡献,取平均值。

lr-vectorization

求出中间量$dz$,然后计算$dw$和$db$。

lr-vectorization-1

注意此时$db$是(1, 1),而$dw$是(n, 1)。

lr-impl

每次迭代,更新$w$和$b$,直到满足退出条件。

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

3 条评论
登录 后参与评论

相关文章

来自专栏ml

对sppnet网络的理解

 前言:    接着上一篇文章提到的RCNN网络物体检测,这个网络成功的引入了CNN卷积网络来进行特征提取,但是存在一个问题,就是对需要进行特征提取图片大小有严...

3586
来自专栏深度学习入门与实践

【深度学习系列】CNN模型的可视化

前面几篇文章讲到了卷积神经网络CNN,但是对于它在每一层提取到的特征以及训练的过程可能还是不太明白,所以这节主要通过模型的可视化来神经网络在每一层中是如何训练...

4656
来自专栏大数据挖掘DT机器学习

深度学习CTPN算法的解读与tensorflow实现

作者github地址和tensorflow版本地址: 在公众号 datadw 里 回复 CTPN 即可获取。 本文将对CTPN这篇文章的思路做一个详细的介绍...

6384
来自专栏ml

对sppnet网络的理解

   接着上一篇文章提到的RCNN网络物体检测,这个网络成功的引入了CNN卷积网络来进行特征提取,但是存在一个问题,就是对需要进行特征提取图片大小有严格的限制。...

732
来自专栏CreateAMind

Deep Learning Book 中文第八章 深度学习模型中的优化

学习和优化的差异;神经网络的优化挑战;参数初始化策略;自适应学习率算法;二阶近似方法;优化技巧和元算法:batch normalization;

721
来自专栏用户2442861的专栏

概率论-最大似然估计

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/haluoluo211/article/d...

501
来自专栏用户2442861的专栏

python朴素贝叶斯实现-2

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/haluoluo211/article/d...

602
来自专栏海天一树

机器学习中的梯度下降法

机器学习中的大部分问题都是优化问题,而绝大部分优化问题都可以使用梯度下降法(Gradient Descent)处理,那么搞懂什么是梯度,什么是梯度下降法就非常重...

2594
来自专栏雷经纬的专栏

老司机带你检测相似图片

本文从从图片的dhash,ahash,phash,颜色分布向量到基于语义的sift,surf,gist特征,构建一套分层相似图片检测系统。本文致力于零基础单机快...

2.2K2
来自专栏null的专栏

简单易学的机器学习算法——K-近邻算法

一、近邻算法(Nearest Neighbors) 1、近邻算法的概念 近邻算法(Nearest Neighbors)是一种典型的非参模型,与生成方法(gen...

3286

扫码关注云+社区