一天搞懂深度学习系列之一

**********

自从推送了《一天搞懂深度学习系列之一(神经网络)》，寝食难安，每时每刻都想将里面的一些细节拿出来好好的梳理整理一下，整理整理，写写笔记，但是最近真的很忙，还有一些生活琐事，迟迟找不到时间写，终于这个周末就是端午节放假了，在废寝忘食通宵达旦推出系列之一（扩展篇）之前呢还是先立个Flag，Mark一下，省的到时又找理由往后推了。

首先用一句莎士比亚在戏剧《暴风雨》中的诗来开始吧：凡是过往，皆为序章。想说的是每次写都是一个新的启程，就这样解释吧，反正也不知道该怎么解释了。

上篇文章介绍了深度学习中深度神经网络的结构以及神经网络的工作过程，接下来的扩展篇系列将梳理一些细节问题，主要包括以下几个方面内容：

1. 什么是激活函数，以及激活函数种类、什么是软饱和与硬饱和；

2. 代价函数、损失函数、目标函数，经验风险与结构风险、正则化以及正则化项、范数；

3. 梯度以及梯度下降、梯度消失、梯度爆炸；

4. 收敛；

5. 学习速率；

6. 正向传播与反向传播，BP算法；

7. Dropout；

8. 逻辑回归、线性回归、非线性回归；

9. 过拟合、欠拟合、泛化；

10. 有监督学习、无监督学习、半监督学习。