神经网络的训练与下列对象相关:
网络层堆叠形成网络模型,网络模型由输入数据得到预测值。损失函数比较预测值与实际值,得到损失函数值:用来评估预测结果的好坏;优化方法用损失值来更新网络模型的权重系数。
网络层是神经网络的基本数据结构。一个网络层把一个或多个数据输入张量进行数据处理过程得到一个或多个输出张量。一些网络层是无状态的(没有网络参数),但大多数网络层是有状态的---网络层的权重系数,这些通过随机梯度下降算法学到的权重张量,形成了网络层的知识。 不同的网络进行的数据处理各不相同,因此需要的数据格式及数据类型也有所差异。比如:2D张量,形状为(samples,features)存储简单的向量信息,通常是全连接层(FC 或 Dense)的输入格式要求;LSTM网络层通常处理3D张量,形状为(samples,timesteps,featuers)的序列数据;2D卷积层通常处理存储在4D张量中的图片数据。
可以把网络层看做深度学习的乐高积木块,通过积木块我们可以搭建不同的网络模型。在Keras框架中通过把相互兼容的网络层堆叠形成数据处理过程,而网络层的兼容性是指该网络层接收特定形状的输入张量同时返回特东形状的输出张量。 例如:
from keras import layers
layer = layers.Dense(32, input_shape=(784, ))
定义的网络层只接收2D张量,第一维度为784,;同时网络层输出的第一维度为32。 在Keras中,不必担心网络的兼容性,因为添加到网络模型中的网络层是动态构建地,匹配接下来连接的网络层。比如:
from keras import models
from keras import layers
model = models.Sequential()
model.add(layers.Dense(32, input_shape=(784, )))
model.add(layers.Dense(32))
第二个Dense层不必定义接收张量的形状,keras能自动定义。
一个神经网络模型是网络层的非循环连接而成。最常见的是网络层的线性连接堆叠,讲一个输入张量转换为一个输出张量。 也存在不同的网络拓扑结构,如:
网络模型的拓扑结构定义了一个假设空间。通过选择网络模型的拓扑结构,限制了假设空间能进行的张量操作,通过这些张量操作有输出张量得到对应的输出张量;之后寻找这些张量操作中涉及到的权重系数张量。 网络模型结构的选择与其说是一门科学不如说是一门艺术,尽管存在一些可以依赖的经验和原理,但只有不断尝试才能使你成为一个优秀的神经网络缔造者。
网络模型结构定义完成之后,仍然需要定义两件事:
多输出神经网络模型可能有多个损失函数(一个输出一个损失函数)。但是梯度下降过程必然是基于一个损失函数标量值;所以,对于有多个损失函数的网络模型来说,所有的损失函数值必须整合(平均化处理)成一个标量值。
特定问题需要选择特定的损失函数。对于常见的问题,如:分类、回归、序列预测,有对应的指导-选择正确的损失函数。具体:二分类问题使用对数损失binary crossentropy,多分类问题采用分类交叉熵categorical crossentropy,回归问题使用均方误差,序列学习问题采用Connectionist temporal classification(CTC)损失函数等等。只有在面对真正要解决的科学问题时,才能决定要使用的损失函数类型以及定义。
Keras是一个Python语言的深度学习框架,提供了快速搞笑的深度学习网络模型定义和训练方法。Keras设计初衷是为了方便科学家能进行快速实验。Keras特征:
Keras 是一个模型级别的工具库,提供构建神经网络模型的高级API。Keras并不进行底层的操作比如张量操作和导数计算;相应地,Keras以来与特定的张量库进行这些操作,作为Keras的背后引擎。目前,Keras支持3个背后引擎:TensorFlow、Theano和CNTK。将来,有望支持更多的深度学习框架成为Keras的背后计算引擎。
Keras工作流大致如下:
模型定义有两种方法:使用Sequential类(使用于网络层的线性堆叠,目前最常见);以及函数式API(支持任意网络架构,更灵活)。 方法一:Sequential类
from keras import models
from keras import layers
model = models.Sequential()
model.add(layers.Dense(32, activation='relu', input_shape=(784,)))
model.add(layers.Dense(10, activation='softmax'))
方法二: 函数式API
input_tensor = layers.Input(shape=(784,))
x = layers.Dense(32, activation='relu')(input_tensor)
output_tensor = layers.Dense(10, activation='softmax')(x)
model = models.Model(inputs=input_tensor, outputs=output_tensor)
一旦模型架构定义完成,不必区分到底网络模型是怎么定义的,之后的处理步骤没有差别。 学习过程在编译过程中配置:定义优化算法、损失函数和监测指标。比如:
from keras import optimizers
model.compile(optimizer=optimizer.RMSProp(lr=0.001),loss='mse',metrics=['accuracy'])
最后,通过fit()方法将numpy数组形式的输入数据(以及对应标签)输入到网络模型中进行模型的学习过程。
model.fit(input_tensor, target_tensor, batch_size=128, epochs=10)