从零开始深度学习（五）：导数
0、写在前面
这一次主要是想对微积分和导数直观理解一下。很多人在想或许自从大学毕以后，再也没有接触微积分。不要担心，为了高效应用神经网络和深度学习，其实 并不需要非常深入理解微积分。
如果你是精通微积分的那一小部分人群，对微积分非常熟悉，可以跳过这个笔记。
1、导数
导数，也叫导函数值，又名微商，是微积分中的重要基础概念，但是其实理解起来并没有那么难。来看一个例子：
一个函数 ，如图可以看出它是一条直线，这个别说你不会，xD。那么什么是导数，简单理解一下：
看看函数中几个点，假定 ，那么 是 的 3 倍，也就是 3 * 2 = 6，即若 ，那么函数 ，第一个点就是（，）（，）。
如果假定稍微改变一点点 的值，只增加一点，变为 2.001（只增加了 0.001），这时 将向右做微小的移动。0.001 的差别实在是太小了， 数量级的移动，不能在图中很明显地看出来，这里稍稍夸张了一下，意思到位就ok。现在 等于 的 3 倍是 2.001 * 3 = 6.003。
请看这个绿色小清新的三角形！！！根据刚才的结果，如果向右移动 0.001，那么 增加 6.003 - 6 = 0.003， 的值增加 3 倍于右移的 ，0.003 / 0.001 = 3，因此我们说函数 在 点的导数就是在这个点的斜率，而这个点的斜率是 3，那么斜率是什么？
已知一个图如上，斜率 K 计算公式如下：
导数这个概念意味着斜率！！！导数 这个词，听起来就是一个很可怕、很令人惊恐的词，但是 斜率 以一种很友好的方式来描述导数这个概念。所以提到导数，不严格的说，就把它当作函数的斜率就好了。通过一个例子来体会一下斜率的定义，在上图的绿色三角形中，用三角形的高除以三角形的宽，即斜率等于 0.003 / 0.001 = 3，等于3，或者说导数等于 3。这意味着什么呢？这意味着当你将 右移 0.001时， 的值增加 3 倍水平方向的量。
如果换个数呢？现在假设 也是一样的，此时 。把 右移一个很小的幅度，增加到 5.001，根据 可以得到 3 * 5.001 = 15.003。即在 时，斜率是 3。这就表示，当变量 的值发生微小改变时，。一个等价的导数表达式还可以这样写 ，即 放在上面或者放在右边都没有关系，是一样的。
那就是导数的正式定义！！！数学上导数用 表示。
导数的一个特性是：这个例子中的这个函数在任何地方的斜率总是等于 3，不管 或 ，这个函数的斜率总等于3，也就是说导数总等于 3。那么所有的函数斜率都是不变的嘛？当然不是，下面这个例子中函数在不同点的斜率是可变的。
2、深入理解导数
下面来看一个更加复杂的例子，有多复杂？在这个例子中，函数在不同点处的斜率是不一样的，别慌，先来举个例子：
这里有一个不一样的函数，，直观上看，是个曲线，眉头一皱，感觉事情不太对劲。现在如果假设 的话，那么 可以得到 。还是稍稍往右推进一点点，现在 ，则 (为什么要约等于？如果你用计算器算的话，就会发现这个准确的值应该为4.004001，只是为了简便起见，省略了后面的部分)。
还是画图的方法进行理解，得到一个小三角形，如果细心的话你就会发现，这次严格意义上并不是三角形。如果把 往右移动 0.001，那么 将增大四倍，即增大 4.004 - 4 = 0.004，而 0.004 / 0.001 = 4。
在微积分中，把这个三角形斜边的斜率，称为 在点 处的导数(即为 4 )；或者写成微积分的正式定义形式，当 的时候， 。由此可知，函数 ，在 取不同值的时候，它的斜率是不同的，这和上面的例子显然是不同的。
如果你还是不太理解的话，这里有种直观的方法可以解释，就是画图法。为什么一个点的斜率，在不同位置会不同如果？我们可以在曲线上的不同位置，画一些小小的三角形你就会发现，三角形高和宽的比值，即斜率，在曲线上不同的地方是不同的。所以当 时，斜率为 4；而当 时，斜率为 10。
如果严谨地说，可以百度导数表。你会发现，函数 的斜率（即导数）为 ，而函数 的斜率（即导数）为3。
这意味着什么？这么说，如果任意给定一点 ，稍微将 增大 0.001，两个函数增大的完全不一样。一个是和 有关的，而另一个则是常数。
来小结一下：
- 导数就是斜率，而函数的斜率在不同的点可能是不同的。在 时，在任何点它的斜率都是相同的，均为3。但对 ，斜率是变化的，所以它们的导数或者斜率，在曲线上不同的点处是不同的。
- 如果想知道一个函数的导数，可参考导数表，然后应该就能找到这些函数的导数公式，直接带数就完事了。
未完待续。。。