逻辑回归(NN Mindset)

Andrew CS230: Deep Learning课程笔记。Logistic Regression with a Neural Network mindset

Forward

LR由输入到Loss,可看做简易神经网络的前向传播。其计算过程可用计算图表示:

lr-computation-graph

其中z和线性回归的输出是完全一致的。$\hat y = a = \sigma(z)$,a作为activation的简写,和神经网络的激活函数保持一致。$\sigma$表示sigmoid函数,是激活函数的一种。

Backward

LR由Loss对变量求导,可看做简易神经网络的反向传播。其计算过程可用计算图表示:

lr-derivative

利用链式求导法则,az都是中间变量,最后对wb求导。注意$a=\sigma(z)$的导数是$a(1-a)$,简单也好推导,记住即可。

Vectorization

对多个training sample,用循环性能很差,利用科学计算的向量化。通过推导得到$dz = A - Y$,然后计算$dw = \frac{1}{m}X dz^T$和$db = \frac{1}{m} np.sum(dz)$。关于$\frac{1}{m}$可这样理解,每一个样本在对梯度计算都有贡献,取平均值。

lr-vectorization

求出中间量$dz$,然后计算$dw$和$db$。

lr-vectorization-1

注意此时$db$是(1, 1),而$dw$是(n, 1)。

lr-impl

每次迭代,更新$w$和$b$,直到满足退出条件。

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏应兆康的专栏

机器学习概念:梯度下降

机器学习中大部分都是优化问题,大多数的优化问题都可以使用梯度下降/上升法处理,所以,搞清楚梯度算法就非常重要。

3659
来自专栏机器之心

学界 | 谷歌大脑提出自动数据增强方法AutoAugment:可迁移至不同数据集

2189
来自专栏AI研习社

卷积神经网络工作原理直观的解释?

其实我们在做线性回归也好,分类(逻辑斯蒂回归)也好,本质上来讲,就是把数据进行映射,要么映射到一个多个离散的标签上,或者是连续的空间里面,一般简单的数据而言,我...

2665
来自专栏CreateAMind

PPGN即插即用GAN:Ian Goodfellow推荐的最新模型 视频+多图

PPGN 整合了对抗训练、cnn特征匹配、降噪自编码、Langevin采样;在NIPS2016得到了Ian Goodfellow的介绍.

842
来自专栏AI研习社

随机加权平均 -- 在深度学习中获得最优结果的新方法

在这篇文章中,我将讨论最近两篇有趣的论文。它们提供了一种简单的方式,通过使用一种巧妙的集成方法提升神经网络的性能。

1252
来自专栏CreateAMind

PPGN即插即用GAN:Ian Goodfellow推荐的最新模型 视频+多图

PPGN 整合了对抗训练、cnn特征匹配、降噪自编码、Langevin采样;在NIPS2016得到了Ian Goodfellow的介绍.

691
来自专栏新智元

【干货】随机森林的Python实现

【新智元导读】在机器学习中,随机森林是一个包含多个决策树的分类器,并且其输出的类别是由个别树输出的类别的众数而定。随机森林几乎是任何预测类问题(甚至非线性问题)...

3335
来自专栏Petrichor的专栏

论文阅读: Speed/accuracy trade-offs

版权声明:转载请注明出处 https://blog.csdn.net/JNingWei/article/details/80045857 ...

1455
来自专栏机器学习和数学

[编程经验] TensorFlow实现线性支持向量机SVM

[点击蓝字,一键关注~] 今天要说的是线性可分情况下的支持向量机的实现,如果对于平面内的点,支持向量机的目的是找到一条直线,把训练样本分开,使得直线到两个样本的...

3384
来自专栏ATYUN订阅号

【教程】估算一个最佳学习速率,以更好地训练深度神经网络

对于训练深度神经网络来说,学习速率是调优的最重要的超参数之一。在这篇文章中,我将描述一个简单而有力的方法来找到一个合理的学习速率。这种方法是我从Fast AI网...

2866

扫码关注云+社区