逻辑回归(NN Mindset)

Andrew CS230: Deep Learning课程笔记。Logistic Regression with a Neural Network mindset

Forward

LR由输入到Loss,可看做简易神经网络的前向传播。其计算过程可用计算图表示:

lr-computation-graph

其中z和线性回归的输出是完全一致的。$\hat y = a = \sigma(z)$,a作为activation的简写,和神经网络的激活函数保持一致。$\sigma$表示sigmoid函数,是激活函数的一种。

Backward

LR由Loss对变量求导,可看做简易神经网络的反向传播。其计算过程可用计算图表示:

lr-derivative

利用链式求导法则,az都是中间变量,最后对wb求导。注意$a=\sigma(z)$的导数是$a(1-a)$,简单也好推导,记住即可。

Vectorization

对多个training sample,用循环性能很差,利用科学计算的向量化。通过推导得到$dz = A - Y$,然后计算$dw = \frac{1}{m}X dz^T$和$db = \frac{1}{m} np.sum(dz)$。关于$\frac{1}{m}$可这样理解,每一个样本在对梯度计算都有贡献,取平均值。

lr-vectorization

求出中间量$dz$,然后计算$dw$和$db$。

lr-vectorization-1

注意此时$db$是(1, 1),而$dw$是(n, 1)。

lr-impl

每次迭代,更新$w$和$b$,直到满足退出条件。

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏大数据挖掘DT机器学习

多种贝叶斯模型构建及文本分类的实现

多种贝叶斯模型构建及文本分类的实现 当前数据挖掘技术使用最为广泛的莫过于文本挖掘领域,包括领域本体构建、短文本实体抽取以及代码的语义级构件方法研究。常用的数据...

2273
来自专栏算法channel

BAT面试题5:关于LR

接下来,每天一道BAT面试题陪伴你,只要你坚持下来,日积月累,你会在不知不觉中就步入机器学习的大门,并且越走越远。同时,还能助你顺利拿到OFFER. 你应该学会...

2392
来自专栏人工智能

神经网络与反向传播算法

1、前言 先简单的说下神经网络吧。 简单来说就是模拟大脑的神经元。 前端会有一大批数据输入,例如,前端输入了一张图像的所有像素点。 中间层会有成千上万个网络数据...

1966
来自专栏CreateAMind

PPGN即插即用GAN:Ian Goodfellow推荐的最新模型 视频+多图

PPGN 整合了对抗训练、cnn特征匹配、降噪自编码、Langevin采样;在NIPS2016得到了Ian Goodfellow的介绍.

761
来自专栏CreateAMind

PPGN即插即用GAN:Ian Goodfellow推荐的最新模型 视频+多图

PPGN 整合了对抗训练、cnn特征匹配、降噪自编码、Langevin采样;在NIPS2016得到了Ian Goodfellow的介绍.

922
来自专栏ATYUN订阅号

【教程】估算一个最佳学习速率,以更好地训练深度神经网络

对于训练深度神经网络来说,学习速率是调优的最重要的超参数之一。在这篇文章中,我将描述一个简单而有力的方法来找到一个合理的学习速率。这种方法是我从Fast AI网...

3016
来自专栏AI研习社

随机加权平均 -- 在深度学习中获得最优结果的新方法

在这篇文章中,我将讨论最近两篇有趣的论文。它们提供了一种简单的方式,通过使用一种巧妙的集成方法提升神经网络的性能。

1492
来自专栏xingoo, 一个梦想做发明家的程序员

吴恩达机器学习笔记 —— 2 单变量线性回归

机器学习的过程就是通过上面的例子学习一个模型,当再次有数据x进来的时候,能给出对应的y值

790
来自专栏Petrichor的专栏

论文阅读: Speed/accuracy trade-offs

版权声明:转载请注明出处 https://blog.csdn.net/JNingWei/article/details/80045857 ...

1915
来自专栏AI科技评论

学界丨反向传播算法最全解读,机器学习进阶必看!

AI 科技评论按:如果对人工智能稍有了解的小伙伴们,或多或少都听过反向传播算法这个名词,但实际上BP到底是什么?它有着怎样的魅力与优势?本文发布于 offcon...

4305

扫码关注云+社区