Deep learning基于theano的keras学习笔记(1)-Sequential模型

最近在看keras文档,想写博客却真的无从下手(其实就是没咋学会),想想不写点笔记过段时间估计会忘得更多,所以还是记录一下吧,感觉学习keras最好的方式还是去读示例的代码,后期也有想些keras示例代码注释的想法,但是现在还是老老实实地先记录keras的基础知识吧。


《统计学习方法》中指出,机器学习的三个要素是模型,策略和优算法,这当然也适用于深度学习,而我个人觉得keras训练也是基于这三个要素的,先建立深度模型,然后选用策略(目标函数),采用优化器,编译和训练模型。

  • Sequential模型,顾名思义,就是多个网络层的线性堆叠 建立模型有两种方式:一是向layer添加list的方式,二是通过.add()方式一层层添加(一个add为一层),具体可见如下代码
#引入Sequential,Dense,Activation
from keras.models import Sequential
from keras.layers import Dense, Activation
#向layer添加list方式
model = Sequential([Dense(32, input_dim=784),Activation('relu'),Dense(10),Activation('softmax'),])

#通过.add()方式
model = Sequential()
model.add(Dense(32, input_dim=784))
model.add(Activation('relu'))
  • 输入数据shape Sequential只需在第一层需接受一个关于输入数据shape的参数,后面的各个层则可自动推导出中间数据的shape。 input_shape是一个tuple类型的数据,其中也可以填入None,如果填入None则表示此位置可能是任何正整数。数据的batch大小不应包含在其中。 传递一个batch_input_shape的关键字参数给第一层,该参数包含数据的batch大小。该参数在指定固定大小batch时比较有用。事实上,Keras在内部会通过添加一个Noneinput_shape转化为batch_input_shape 有些2D层,如Dense,支持通过指定其输入维度input_dim来隐含的指定输入数据shape。一些3D的时域层支持通过参数input_diminput_length来指定输入shape
model = Sequential()
model.add(Dense(32, input_shape=(784,)))

model = Sequential()
model.add(Dense(32, batch_input_shape=(None, 784)))

model = Sequential()
model.add(Dense(32, input_dim=784))
#以上三种输入是等价的
  • 编译 在训练模型之前,我们需要通过compile来对学习过程进行配置。compile接收三个参数:
    1. 优化器optimizer:已预定义的优化器名,如rmsprop、adagrad,或一个Optimizer类的对象
    2. 损失函数loss:最小化的目标函数,它可为预定义的损失函数,如categorical_crossentropymse,也可以为一个损失函数。
    3. 指标列表metrics:对分类问题,我们一般将该列表设置为metrics=['accuracy']。指标可以是一个预定义指标的名字,也可以是一个用户定制的函数。指标函数应该返回单个张量,或一个完成metric_name - > metric_value映射的字典。
# 多分类问题
model.compile(optimizer='rmsprop',
loss='categorical_crossentropy',
metrics=['accuracy'])

# 二分类问题
model.compile(optimizer='rmsprop',
loss='binary_crossentropy',
metrics=['accuracy'])

#均方误差回归问题
model.compile(optimizer='rmsprop',
loss='mse')
  • 训练 编译完毕之后,下一步就是要训练模型了,训练模型一般使用fit函数
# 10分类问题:

left_branch = Sequential()
left_branch.add(Dense(32, input_dim=784))

right_branch = Sequential()
right_branch.add(Dense(32, input_dim=784))

#merge层
merged = Merge([left_branch, right_branch], mode='concat')

model = Sequential()
model.add(merged)
model.add(Dense(10, activation='softmax'))

#编译
model.compile(optimizer='rmsprop',
              loss='categorical_crossentropy',
              metrics=['accuracy'])
# 生成随机数
import numpy as np
from keras.utils.np_utils import to_categorical
data_1 = np.random.random((1000, 784))
data_2 = np.random.random((1000, 784))

# 0-9整数
labels = np.random.randint(10, size=(1000, 1))
#多分类问题标签将整数转化为二值数,比如10分类问题标签2转化为0010000000
labels = to_categorical(labels, 10)

# 训练
#两个输入
model.fit([data_1, data_2], labels, nb_epoch=10, batch_size=32)
  • Merge层 多个Sequential可经由一个Merge层合并到一个输出 Merge层支持一些预定义的合并模式,包括: sum(defualt):逐元素相加 concat:张量串联,可以通过提供concat_axis的关键字参数指定按照哪个轴进行串联 mul:逐元素相乘 ave:张量平均 dot:张量相乘,可以通过dot_axis关键字参数来指定要消去的轴 cos:计算2D张量(即矩阵)中各个向量的余弦距离 具体看以下代码示例:
from keras.layers import Merge
#左分支
left_branch = Sequential()
left_branch.add(Dense(32, input_dim=784))
#右分支
right_branch = Sequential()
right_branch.add(Dense(32, input_dim=784))
#合并
merged = Merge([left_branch, right_branch], mode='concat')

final_model = Sequential()
final_model.add(merged)
final_model.add(Dense(10, activation='softmax'))

#这个两个分支的模型可以通过下面的代码训练:
final_model.compile(optimizer='rmsprop', loss='categorical_crossentropy')
final_model.fit([input_data_1, input_data_2], targets)  # we pass one data array per model input

#也可以为Merge层提供关键字参数mode,以实现任意的变换,例如:
merged = Merge([left_branch, right_branch], mode=lambda x: x[0] - x[1])

Sequential模型方法

#compile
compile(self, optimizer, loss, metrics=[], sample_weight_mode=None)

#optimizer:字符串(预定义优化器名)或优化器对象
#loss:字符串(预定义损失函数名)或目标函数
#metrics:列表,包含评估模型在训练和测试时的网络性能的指标,典型用法是metrics=['accuracy']
#sample_weight_mode:如果你需要按时间步为样本赋权(2D权矩阵),将该值设为“temporal”。默认为“None”,代表按样本赋权(1D权)。
#kwargs:使用TensorFlow作为后端请忽略该参数,若使用Theano作为后端,kwargs的值将会传递给 K.function


----------


#fit
fit(self, x, y, batch_size=32, nb_epoch=10, verbose=1, callbacks=[], validation_split=0.0, validation_data=None, shuffle=True, class_weight=None, sample_weight=None)

#x:输入数据。模型只有一个输入时x的类型是numpy array,模型多个输入时x的类型应当为list,list的元素是对应于各个输入的numpy array
#y:标签,numpy array
#batch_size:指定进行梯度下降时每个batch包含的样本数。
#nb_epoch:训练的轮数。
#verbose:日志显示,0为不在标准输出流输出日志信息,1为输出进度条记录,2为每个epoch输出一行记录
#callbacks:list,其中的元素是keras.callbacks.Callback的对象。这个list中的回调函数将会在训练过程中的适当时机被调用
#validation_split:0~1的浮点数,将训练集的一定比例数据作为验证集。验证集将不参与训练,并在每个epoch结束后测试的模型的指标,如损失函数、精确度等。
#validation_data:形式为(X,y)的tuple,是指定的验证集。此参数将覆盖validation_spilt。
#shuffle:布尔值或字符串,一般为布尔值,表示是否在训练过程中随机打乱输入样本的顺序。若为字符串“batch”,则是用来处理HDF5数据的特殊情况,它将在batch内部将数据打乱。
#class_weight:字典,将不同的类别映射为不同的权值,该参数用来在训练过程中调整损失函数(只能用于训练)
#sample_weight:权值的numpy array,用于在训练时调整损失函数(仅用于训练)。可以传递一个1D的与样本等长的向量用于对样本进行1对1的加权,或者在面对时序数据时,传递一个的形式为(samples,sequence_length)的矩阵来为每个时间步上的样本赋不同的权。这种情况下请确定在编译模型时添加了sample_weight_mode='temporal'。

fit函数返回一个History的对象,其History.history属性记录了损失函数和其他指标的数值随epoch变化的情况,如果有验证集的话,也包含了验证集的这些指标变化情况


----------


#evaluate
evaluate(self, x, y, batch_size=32, verbose=1, sample_weight=None)

#本函数按batch计算在某些输入数据上模型的误差,其参数有:
#x:输入数据,与fit一样,是numpy array或numpy array的list
#y:标签,numpy array
#batch_size:整数,含义同fit的同名参数
#verbose:含义同fit的同名参数,但只能取0或1
#sample_weight:numpy array,含义同fit的同名参数

本函数返回一个测试误差的标量值(如果模型没有其他评价指标),或一个标量的list(如果模型还有其他的评价指标)。model.metrics_names将给出list中各个值的含义


----------


#predict
predict(self, x, batch_size=32, verbose=0)

本函数按batch获得输入数据对应的输出,其参数有:函数的返回值是预测值的numpy array


----------


#predict_classes
predict_classes(self, x, batch_size=32, verbose=1)

本函数按batch产生输入数据的类别预测结果,函数的返回值是类别预测结果的numpy array或numpy

#predict_proba
predict_proba(self, x, batch_size=32, verbose=1)

本函数按batch产生输入数据属于各个类别的概率,函数的返回值是类别概率的numpy array

#train_on_batch
train_on_batch(self, x, y, class_weight=None, sample_weight=None)

本函数在一个batch的数据上进行一次参数更新,函数返回训练误差的标量值或标量值的list,与evaluate的情形相同。

#test_on_batch
test_on_batch(self, x, y, sample_weight=None)

本函数在一个batch的样本上对模型进行评估,函数的返回与evaluate的情形相同

#predict_on_batch
predict_on_batch(self, x)

本函数在一个batch的样本上对模型进行测试,函数返回模型在一个batch上的预测结果


----------


#fit_generator
fit_generator(self, generator, samples_per_epoch, nb_epoch, verbose=1, callbacks=[], validation_data=None, nb_val_samples=None, class_weight=None, max_q_size=10)

#generator:生成器函数,生成器的输出应该为:
    一个形如(inputs,targets)的tuple
    一个形如(inputs, targets,sample_weight)的tuple。所有的返回值都应该包含相同数目的样本。生成器将无限在数据集上循环。每个epoch以经过模型的样本数达到samples_per_epoch时,记一个epoch结束
#samples_per_epoch:整数,当模型处理的样本达到此数目时计一个epoch结束,执行下一个epoch
#verbose:日志显示,0为不在标准输出流输出日志信息,1为输出进度条记录,2为每个epoch输出一行记录
#validation_data:具有以下三种形式之一
    生成验证集的生成器
    一个形如(inputs,targets)的tuple
    一个形如(inputs,targets,sample_weights)的tuple
#nb_val_samples:仅当validation_data是生成器时使用,用以限制在每个epoch结束时用来验证模型的验证集样本数,功能类似于samples_per_epoch
#max_q_size:生成器队列的最大容量

函数返回一个History对象

----------
#evaluate_generator
evaluate_generator(self, generator, val_samples, max_q_size=10)

本函数使用一个生成器作为数据源评估模型,生成器应返回与test_on_batch的输入数据相同类型的数据。该函数的参数与fit_generator同名参数含义相同

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏林德熙的博客

C# 判断两条直线距离

d= \frac{ \left| C_1-C_2 \right|}{\sqrt{A^2+B^2}}

1372
来自专栏人工智能头条

十分钟掌握Keras实现RNN的seq2seq学习

1484
来自专栏学习有记

[LeetCode Python3]566. Reshape the Matrix(重塑矩阵)

在MATLAB中,有一个非常有用的函数 reshape,它可以将一个矩阵重塑为另一个大小不同的新矩阵,但保留其原始数据。

2342
来自专栏小樱的经验随笔

算法--枚举策略

枚举法的基本思想 枚举法的基本思想是根据提出的问题枚举所有可能状态,并用问题给定的条件检验哪些是需要的,哪些是不需要的。能使命题成立,即为其解。 枚举结构:循环...

5209
来自专栏数据结构与算法

P2258 子矩阵

题目描述 给出如下定义: 子矩阵:从一个矩阵当中选取某些行和某些列交叉位置所组成的新矩阵(保持行与列的相对顺序)被称为原矩阵的一个子矩阵。 例如,下面左图中选取...

2889
来自专栏决胜机器学习

从机器学习学python(四) ——numpy矩阵基础

从机器学习学python(四)——numpy矩阵基础 (原创内容,转载请注明来源,谢谢) 一、numpy中matrix 和 array的区别 ...

4807
来自专栏量化投资与机器学习

从Encoder到Decoder实现Seq2Seq模型(算法+代码)

知乎专栏:机器不学习 作者:天雨栗 | 蚂蚁金服 | 数据算法 已授权刊登 前言 好久没有更新专栏,今天我们来看一个简单的Seq2Seq实现,我们将使用Tens...

8696
来自专栏尾尾部落

[剑指offer] 矩阵中的路径

请设计一个函数,用来判断在一个矩阵中是否存在一条包含某字符串所有字符的路径。路径可以从矩阵中的任意一个格子开始,每一步可以在矩阵中向左,向右,向上,向下移动一个...

2193
来自专栏瓜大三哥

matlab基础2

Matlab基本运算 数组: 数组的乘法和除法分别用“.*”和“./”表示。右除和左除的关系为:A./B=B.\A,其中A是被除数,B是除数。 size()和l...

2475
来自专栏我是业余自学C/C++的

对角矩阵

1402

扫码关注云+社区

领取腾讯云代金券