深度学习笔记-神经网络介绍

Deep Learning 学习笔记-第一周

Andrew Ng发布了新课程，业界评价很好。在看的过程中非常不错，我把一些重要的知识和要点进行了总结和记录。

神经网络

对于神经网络的定义很复杂，wiki和百度给出了更详细的学术定义。Andrew Ng通过一个房屋预测的例子解释了神经网络。

Housing Price Prediction

x轴为房子的面积大小，y轴为该面积下的价格，价格不可为负数，图中的红色X代表历史数据的实例，我们需要做的是通过拟合一个曲线。即根据房子的面积来预测房子价格，我们需要找到一个拟合函数。 我们可以用一个简单的神经网络来表示,如上图中的右侧用一个独立神经元来表示。这是一个最简单的神经网络。该神经网络的输入是X(size of house),通过拟合函数neuron(ReLU)，输出为Y(price). 有时我们在预测房屋价格时，还需要房屋的其它特性，比如：卧室的数量、邮政编码、步行化程度等等。如下图：

房屋预测

房屋的大小和卧室的数量可以评估家庭成员数量，在美国邮政编码可以评估步行化程度，邮编和富裕程度体校了学校的质量。中间的每一个圆圈都可能是一个ReLU。那么人们愿意付出这个房子多少与他们关注的内容息息相关，家庭成员数量、步行化程度和学校质量，能帮助你预测房屋的价格。神经网络当你实现了它，你只需要输入X就能得到输出Y，不管训练集多大，所有的中间过程都会自己完成。

Real

深度学习兴起

为什么深度学习会如此广泛和兴起，我们先来看一张图：

深度学习兴起

x轴代表完成任务的数据量，y轴代表算法的性能(比如：垃圾邮件过滤的准确性，广告点击预测的准确率等等)。

• 红色的曲线代表机器学习的算法性能，这些算法模型无法处理海量数据。
• 黄色的曲线代表小型神经网络模型，在相同数据规模下的算法的性能。
• 蓝色的曲线代表中等神经网络模型。
• 绿色的曲线代表大型神经网络模型。 虽然大型神经网络模型的数据不仅需要海量数据作为支撑，但其他计算和算法的支撑也是非常重要的。在数据规模不大的情况下，要依赖于你自己设计算法的组件。

1.Data 2.Computation 3.Algorithms