激活函数的偏导数

朋友们，如需转载请标明出处公众号：jack床长

新手请点击公众号里的“历史文章”从序言看起，否则你可能看不懂本篇文章

在讲人工智能之前，第一段我先讲讲其它的，讲一些我想讲的，讲一些大家需要知道的，讲一些对大家的人生有帮助的。说一下国人素质吧。我出国给我的一个体验就是我们中国人的普遍素质当前还真的比一些国家的差。不是我看不起我们自己人，是我想通过我的一点点奉献来让我们自己的族人更快速地继续提升素质。连东欧那么穷的地方，开车的在没有红绿灯的地方看见要过马路的人都会远远就减速停下来，开始我都不敢过，因为在国内都是人让车的~~~中国经济发展起来了，大家已经不缺吃不缺穿了，但是还有不少人依然缺德，需要我们大家的共同努力来使我们中华民族的整体素质快速地继续提升！

在文章《1.3.2 如何计算浅层神经网络的反向传播》中，我们计算dz[1]时——dz[1] = W[2]Tdz[2] * g[1]'(z[1])，使用了 g[1]'(z[1])来指代第一层的激活函数关于z[1]的偏导数。因为不同的激活函数的偏导数计算公式是不同的。本篇文章我将给大家介绍几个常见激活函数的偏导数计算公式。

sigmoid的偏导数计算公式如下。

g'(z) = a(1-a)

我们知道a是激活函数的计算结果。具体这个公式怎么来的,其实意义对于我们来说不是特别大,如果你的微积分学得比较好,你可以自己根据sigmoid函数推导一下。

tanh的偏导数计算公式如下。

g'(z) = 1-a2

relu的偏导数计算公式如下。

leaky relu的偏导数计算公式如下。

这些公式我们后面都是需要的。在后面的实战编程中会通过代码来实现这些公式。它们是实现反向传播的一个重要部分。

请大家加我的微信，之后会用微信向大家公布测试题答案和一些通知，以及统一回答大家遇到的常见问题，有项目也可以招集大家一起做。加我时请注明“人工智能”。