简单的验证码识别(二)-----------tensorflow (CNN+RNN+LSTM)简单介绍

一、什么是tensorflow?

TensorFlow™ 是一个采用数据流图（data flow graphs），用于数值计算的开源软件库。节点（Nodes）在图中表示数学操作，图中的线（edges）则表示在节点间相互联系的多维数据数组，即张量（tensor）。它灵活的架构让你可以在多种平台上展开计算，例如台式计算机中的一个或多个CPU（或GPU），服务器，移动设备等等。TensorFlow 最初由Google大脑小组（隶属于Google机器智能研究机构）的研究员和工程师们开发出来，用于机器学习和深度神经网络方面的研究，但这个系统的通用性使其也可广泛用于其他计算领域。

1. 数据流图是什么？

数据流图用“结点”（nodes）和“线”(edges)的有向图来描述数学计算。“节点” 一般用来表示施加的数学操作，但也可以表示数据输入（feed in）的起点/输出（push out）的终点，或者是读取/写入持久变量（persistent variable）的终点。“线”表示“节点”之间的输入/输出关系。这些数据“线”可以输运“size可动态调整”的多维数据数组，即“张量”（tensor）。张量从图中流过的直观图像是这个工具取名为“Tensorflow”的原因。一旦输入端的所有张量准备好，节点将被分配到各种计算设备完成异步并行地执行运算。

总结：数据流图，就是一个带权的有向图（自己的理解）

2. tensorflow的特性

高度的灵活性

TensorFlow 不是一个严格的“神经网络”库。只要你可以将你的计算表示为一个数据流图，你就可以使用Tensorflow。你来构建图，描写驱动计算的内部循环。我们提供了有用的工具来帮助你组装“子图”（常用于神经网络），当然用户也可以自己在Tensorflow基础上写自己的“上层库”。定义顺手好用的新复合操作和写一个python函数一样容易，而且也不用担心性能损耗。当然万一你发现找不到想要的底层数据操作，你也可以自己写一点c++代码来丰富底层的操作。

真正的可移植性（Portability）

Tensorflow 在CPU和GPU上运行，比如说可以运行在台式机、服务器、手机移动设备等等。想要在没有特殊硬件的前提下，在你的笔记本上跑一下机器学习的新想法？Tensorflow可以办到这点。准备将你的训练模型在多个CPU上规模化运算，又不想修改代码？Tensorflow可以办到这点。想要将你的训练好的模型作为产品的一部分用到手机app里？Tensorflow可以办到这点。你改变主意了，想要将你的模型作为云端服务运行在自己的服务器上，或者运行在Docker容器里？Tensorfow也能办到。Tensorflow就是这么拽 :)

将科研和产品联系在一起

过去如果要将科研中的机器学习想法用到产品中，需要大量的代码重写工作。那样的日子一去不复返了！在Google，科学家用Tensorflow尝试新的算法，产品团队则用Tensorflow来训练和使用计算模型，并直接提供给在线用户。使用Tensorflow可以让应用型研究者将想法迅速运用到产品中，也可以让学术性研究者更直接地彼此分享代码，从而提高科研产出率。

自动求微分

基于梯度的机器学习算法会受益于Tensorflow自动求微分的能力。作为Tensorflow用户，你只需要定义预测模型的结构，将这个结构和目标函数（objective function）结合在一起，并添加数据，Tensorflow将自动为你计算相关的微分导数。计算某个变量相对于其他变量的导数仅仅是通过扩展你的图来完成的，所以你能一直清楚看到究竟在发生什么。

多语言支持

Tensorflow 有一个合理的c++使用界面，也有一个易用的python使用界面来构建和执行你的graphs。你可以直接写python/c++程序，也可以用交互式的ipython界面来用Tensorflow尝试些想法，它可以帮你将笔记、代码、可视化等有条理地归置好。当然这仅仅是个起点——我们希望能鼓励你创造自己最喜欢的语言界面，比如Go，Java，Lua，Javascript，或者是R。

性能最优化

比如说你又一个32个CPU内核、4个GPU显卡的工作站，想要将你工作站的计算潜能全发挥出来？由于Tensorflow 给予了线程、队列、异步操作等以最佳的支持，Tensorflow 让你可以将你手边硬件的计算潜能全部发挥出来。你可以自由地将Tensorflow图中的计算元素分配到不同设备上，Tensorflow可以帮你管理好这些不同副本。

二、CNN，RNN，LSTM之间的关系

卷积神经网络（Convolutional Neural Network CNN)：

卷积神经网络(CNN)，是一种前馈神经网络，解决了DNN(深度网络)，NN（神经网络）中出现的过度拟合以及局部最有解问题。CNN是利用图像的局部信息，将图像中的固有局部模式（比如人身体的各个部位）来利用，CNN中的所以上下层神经元并不是直接相互连接，而是通过“卷积核”做为中介。同一个卷积核中的图是共享的，同时图像通过卷积操作后任然保留原来的位置关系。

CNN的基本结构包括两层，其一为特征提取层，每个神经元的输入与前一层的局部接受域相连，并提取该局部的特征。一旦该局部特征被提取后，它与其它特征间的位置关系也随之确定下来；其二是特征映射层，网络的每个计算层由多个特征映射组成，每个特征映射是一个平面，平面上所有神经元的权值相等。特征映射结构采用影响函数核小的sigmoid函数作为卷积网络的激活函数，使得特征映射具有位移不变性。此外，由于一个映射面上的神经元共享权值，因而减少了网络自由参数的个数。卷积神经网络中的每一个卷积层都紧跟着一个用来求局部平均与二次提取的计算层，这种特有的两次特征提取结构减小了特征分辨率。

CNN主要用来识别位移、缩放及其他形式扭曲不变性的二维图形，该部分功能主要由池化层实现。由于CNN的特征检测层通过训练数据进行学习，所以在使用CNN时，避免了显式的特征抽取，而隐式地从训练数据中进行学习；再者由于同一特征映射面上的神经元权值相同，所以网络可以并行学习，这也是卷积网络相对于神经元彼此相连网络的一大优势。卷积神经网络以其局部权值共享的特殊结构在语音识别和图像处理方面有着独特的优越性，其布局更接近于实际的生物神经网络，权值共享降低了网络的复杂性，特别是多维输入向量的图像可以直接输入网络这一特点避免了特征提取和分类过程中数据重建的复杂度。

RNN循环神经网络（Recurrent Neural Network RNN）:

循环神经网络RNN神经网络是一种节点定向连接成环的人工神经网络。这种网络的内部状态可以展示动态时序行为。不同于前馈神经网络(CNN)的是，RNN可以利用它内部的记忆来处理任意时序的输入序列，这让它可以更容易处理如不分段的手写识别、语音识别等。在RNN中神经元的输出可以在下一个时间戳直接作用到自身，即第i层神经元在m时刻的输入，除了（i-1）层神经元在该时刻的输出外，还包括其自身在（m-1）时刻的输出。如下图：

循环神经网络的这种结构非常适合处理前后有依赖关系的数据样本。由于这种链式的结构，循环神经网络与序列和列表紧密相连。因此，RNN适合处理基于时间的序列，例如：一段连续的语音，一段连续的手写文字。以语言模型为例，根据给定句子中的前t个字符，然后预测第t+1个字符。假设我们的句子是“你好世界”，使用前馈神经网络来预测：在时间1输入“你”，预测“好”，时间2向同一个网络输入“好”预测“世”。整个过程如下图所示:

可以根据前n个字符预测第t+1个字符。在这里，n=1。同时可以增大n来使得输入含有更多信息。但是我们不能任意增大n，因为这样通常会增在模型的复杂度，从而导致需要大量数据和计算来训练模型。

LSTM（时间递归神经网络）：

LSTM（Long Short-Term Memory）是长短期记忆网络，是一种时间递归神经网络，适合于处理和预测时间序列中间隔和延迟相对较长的重要事件。它是一种特殊的RNN类型，可以学习长期依赖信息。解决了RNN中出现的序列过长导致优化时出现的图消散问题。将RNN看成在一个时间上传递的神经网络，在隐藏层节点之间加入了互联。（本次的验证码识别就是用了LSTM）

LSTM在算法中加入了一个判断信息有用与否的“处理器”，这个处理器作用的结构被称为cell。

一个cell当中被放置了三扇门，分别叫做输入门、遗忘门和输出门。一个信息进入LSTM的网络当中，可以根据规则来判断是否有用。只有符合算法认证的信息才会留下，不符的信息则通过遗忘门被遗忘。

在标准RNN中，重复模块具有简单的结构，例如单tanh层，如下图所示：

h(t)一方面用于当前层的模型损失计算，一方面用于下一层h(t+1)计算。

LSTM的结构比RNN的复杂得多，如下图所示：

LSTM的关键是细胞状态，即贯穿图表顶部的水平线：

LSTM为细胞状态移除或者增加信息，这种精心设计的结构叫做门。LSTM有三种门结构。

1、遗忘门

顾名思义，遗忘门决定丢掉细胞状态的哪些信息。根据h(t-1)和x(t)，遗忘门为状态C(t-1)输出一个介于0到1之间的数字，0表示“完全丢弃”，1表示”完全接受“。数学表达式为：

2、输入门

输入门由两个部分构成：第一部分为sigmoid激活函数，输出为i(t)，决定更新哪些值；第二部分为tanh激活函数，输出为~C(t)。i(t)与~C(t)相乘后的结果用于更新细胞状态，数学表达式为：

3、输出门

经过遗忘门和输入门，细胞状态更新为：

最后，我们应该决定输出是什么。输出基于上述细胞状态，但是需要过滤。输出门如下图所示：

首先，使用sigmoid层决定输出细胞状态的哪些部分。然后，我们令细胞状态通过tanh层，输出结果与sigmoid层的输出结果相乘。数学公式为：

LSTM的前向传播算法：

（1）更新遗忘门输出：

（2）更新输入门输出：

（3）更新细胞状态：

（4）更新输出门输出：

参考：http://www.tensorfly.cn/

https://blog.csdn.net/qq_33415086/article/details/79966463