1，机器学习简介

一，人工智能，机器学习，深度学习

人工智能指由人类制造出的机器表现出的智能。这是一个非常大的范围，长远目标是让机器实现类人智能。不过目前我们还在非常非常初级的阶段，甚至都不能称为智能。

机器学习是指通过数据训练出能完成一定功能的模型。是实现人工智能的手段之一，也是目前最主流的人工智能实现方法。

深度学习则是机器学习的分支，超过 8 层的神经网络模型就叫深度学习。深度即层数。深度学习目前在语音、图像等领域取得了很好的效果。

二，监督学习，非监督学习，强化学习

机器学习通常分为无监督学习，监督学习和强化学习三类。

第一类是无监督学习(unsupervised learning)，指的是从信息出发自动寻找规律，分析数据的结构，常见的无监督学习任务有聚类，异常值检测，密度估计，关联分析等。

第二类是监督学习(supervised learning)，监督学习指的是使用带标签的数据去训练模型，并预测未知数据的标签。监督学习有两种，当预测的结果是离散值时属于分类(classification)问题，当预测的结果是连续值时属于回归(regression)问题。

第三类为强化学习(reinforcement learning)，是学习系统从环境到行为映射的学习，以使奖励信号(强化信号)函数值最大。常用于智能控制机器人和决策问题。

三，逻辑回归、决策树和支持向量机

1，逻辑回归

logistic regression 算法是经典的分类算法，基本思想是构造一个概率的拟合函数。

逻辑回归模型的基本结构相当于在线性回归基础上增加了一个sigmoid激活函数。

回归参数应用梯度下降法通过对损失函数计算极值进行求解。

2，决策树

决策树的基本思想是根据样例去推断其背后的树形知识表征。

一个女孩的母亲要给这个女孩介绍男朋友，于是有了下面的对话： 女儿：多大年纪了？ 母亲：26。 女儿：长的帅不帅？ 母亲：挺帅的。 女儿：收入高不？ 母亲：不算很高，中等情况。 女儿：是公务员不？ 母亲：是，在税务局上班呢。 女儿：那好，我去见见。

三，支持向量机

支持向量机SVM(support vector machine)的基本思想是寻找最大间隔的分割超平面。离分割超平面最近的这些样本点称为支持向量。

有时候，会出现线性不可分的情况，可以引入核函数对特征空间作适当变换。

四，DNN，CNN，RNN

1，DNN

DNN(Deep Neural Networks,深度神经网络)是一种相对浅层机器学习模型具有更多参数，需要更多数据进行训练的机器学习算法。

神经网络中的单个神经元和逻辑回归具有相似的结构。

神经网络通过在数据集上使用正向传播(Forward propragation)和反向传播（backward propragation）算法来寻找使得损失函数最小的神经元参数。

2，CNN

CNN(Convolutional Neural Networks,卷积神经网络)是一种从局部特征开始学习并逐渐整合的神经网络。卷积神经网络通过卷积层来进行特征提取，通过池化层进行降维,相比较全连接的神经网络，卷积神经网络降低了模型复杂度，减少了模型的参数，可以减少过拟合。卷积神经网络在图像识别，语音识别等领域都有非常好的效果。

3，RNN

RNN(Recurrent Neural Networks,循环神经网络)是一种能够处理序列模型的神经网络，其输入和输出可以是序列。RNN的显著特点是某个神经元在某一时刻的输出会在下一个时刻作为该神经元的输入信号。RNN 在语音识别，语言建模，翻译，图片描述等问题上取得了较大的成功。

在普通的RNN中，较久远的相关信息容易被遗忘。为了解决对长期信息的依赖问题，LSTM(Long Short Term 长短记忆模型)应运而生。和普通的RNN相比，LSTM模型的神经元具有一种可以有效保留长期信息的结构。