keras中文文档

Keras:基于Theano和TensorFlow的深度学习库

详细的中文文档,目录如下:

以下内容摘自keras中文文档

这就是Keras

Keras是一个极简和高度模块化的神经网络库,Keras由纯Python编写而成并基于Theano或Tensorflow。Keras 为支持快速实验而生,如果你有如下需求,请选择Keras:

  • 简易和快速的原型设计(keras具有高度模块化,极简,和可扩充特性)
  • 支持CNN和RNN,或二者的结合
  • 支持任意的链接方案(包括多输入和多输出训练)
  • 无缝CPU和GPU切换

Keras适用的Python版本是:Python 2.7-3.5

Keras的设计原则是

  • 模块性:模型可理解为一个独立的序列或图,完全可配置的模块以最少的代价自由组合在一起。具体而言,网络层、损失函数、优化器、初始化策略、激活函数、正则化方法都是独立的模块,你可以使用它们来构建自己的模型。
  • 极简主义:每个模块都应该尽量的简洁。每一段代码都应该在初次阅读时都显得直观易懂。没有黑魔法,因为它将给迭代和创新带来麻烦。
  • 易扩展性:添加新模块超级简单的容易,只需要仿照现有的模块编写新的类或函数即可。创建新模块的便利性使得Keras更适合于先进的研究工作。
  • 与Python协作:Keras没有单独的模型配置文件类型(作为对比,caffe有),模型由python代码描述,使其更紧凑和更易debug,并提供了扩展的便利性。

Keras从2015年3月开始启动,经过一年多的开发,目前Keras进入了1.0的时代。Keras 1.0依然遵循相同的设计原则,但与之前的版本相比有很大的不同。如果你曾经使用过此前的其他版本Keras。你或许会关心1.0的新特性。

  • 泛型模型:简单和强大的新模块,用于支持复杂深度学习模型的搭建。
  • 更优秀的性能:现在,Keras模型的编译时间得到缩短。所有的RNN现在都可以用两种方式实现,以供用户在不同配置任务和配置环境下取得最大性能。现在,基于Theano的RNN也可以被展开,以获得大概25%的加速计算。
  • 测量指标:现在,你可以提供一系列的测量指标来在Keras的任何监测点观察模型性能。
  • 更优的用户体验:我们面向使用者重新编写了代码,使得函数API更简单易记,同时提供更有效的出错信息。
  • 新版本的Keras提供了Lambda层,以实现一些简单的计算任务。
  • ...

如果你已经基于Keras0.3编写了自己的层,那么在升级后,你需要为自己的代码做以下调整,以在Keras1.0上继续运行。请参考编写自己的层


关于Keras-cn

本文档是Keras文档的中文版,包括keras.io的全部内容,以及更多的例子、解释和建议,目前,文档的计划是:

  • 1.x版本:现有keras.io文档的中文翻译,保持与官方文档的同步
  • 2.x版本:完善所有【Tips】模块,澄清深度学习中的相关概念和Keras模块的使用方法
  • 3.x版本:增加Keras相关模块的实现原理和部分细节,帮助用户更准确的把握Keras,并添加更多的示例代码

现在,keras-cn的版本号将简单的跟随最新的keras release版本

...................................

本文档的额外模块还有:

  • 一些基本概念:位于快速开始模块的一些基本概念简单介绍了使用Keras前需要知道的一些小知识,新手在使用前应该先阅读本部分的文档。
  • Keras安装和配置指南,提供了详细的Linux和Windows下Keras的安装和配置步骤。
  • 深度学习与Keras:位于导航栏最下方的该模块翻译了来自Keras作者博客keras.io和其他Keras相关博客的文章,该栏目的文章提供了对深度学习的理解和大量使用Keras的例子,您也可以向这个栏目投稿。 所有的文章均在醒目位置标志标明来源与作者,本文档对该栏目文章的原文不具有任何处置权。如您仍觉不妥,请联系本人(moyan_work@foxmail.com)删除。

快速开始:30s上手Keras

Keras的核心数据结构是“模型”,模型是一种组织网络层的方式。Keras中主要的模型是Sequential模型,Sequential是一系列网络层按顺序构成的栈。你也可以查看泛型模型来学习建立更复杂的模型

Sequential模型如下

from keras.models import Sequential

model = Sequential()

将一些网络层通过.add()堆叠起来,就构成了一个模型:

from keras.layers import Dense, Activation

model.add(Dense(output_dim=64, input_dim=100))
model.add(Activation("relu"))
model.add(Dense(output_dim=10))
model.add(Activation("softmax"))

完成模型的搭建后,我们需要使用.compile()方法来编译模型:

model.compile(loss='categorical_crossentropy', optimizer='sgd', metrics=['accuracy'])

编译模型时必须指明损失函数和优化器,如果你需要的话,也可以自己定制损失函数。Keras的一个核心理念就是简明易用同时,保证用户对Keras的绝对控制力度,用户可以根据自己的需要定制自己的模型、网络层,甚至修改源代码。

from keras.optimizers import SGD
model.compile(loss='categorical_crossentropy', optimizer=SGD(lr=0.01, momentum=0.9, nesterov=True))

完成模型编译后,我们在训练数据上按batch进行一定次数的迭代训练,以拟合网络,关于为什么要使用‘batch’,请参考一些基本概念

model.fit(X_train, Y_train, nb_epoch=5, batch_size=32)

当然,我们也可以手动将一个个batch的数据送入网络中训练,这时候需要使用:

model.train_on_batch(X_batch, Y_batch)

随后,我们可以使用一行代码对我们的模型进行评估,看看模型的指标是否满足我们的要求:

loss_and_metrics = model.evaluate(X_test, Y_test, batch_size=32)

或者,我们可以使用我们的模型,对新的数据进行预测:

classes = model.predict_classes(X_test, batch_size=32)
proba = model.predict_proba(X_test, batch_size=32)

搭建一个问答系统、图像分类模型,或神经图灵机、word2vec词嵌入器就是这么快。支撑深度学习的基本想法本就是简单的,现在让我们把它的实现也变的简单起来!

为了更深入的了解Keras,我们建议你查看一下下面的两个tutorial

还有我们对一些概念的解释

在Keras代码包的examples文件夹里,我们提供了一些更高级的模型:基于记忆网络的问答系统、基于LSTM的文本的文本生成等。


安装

Keras使用了下面的依赖包:

  • numpy,scipy
  • pyyaml
  • HDF5, h5py(可选,仅在模型的save/load函数中使用)

当使用Theano作为后端时:

当使用TensorFlow为后端时:

【Tips】“后端”翻译自backend,指的是Keras依赖于完成底层的张量运算的软件包。【@Bigmoyan】

安装Keras时,请cd到Keras的文件夹中,并运行下面的安装命令:

sudo python setup.py install

你也可以使用PyPI来安装Keras

sudo pip install keras

对于在Windows上使用Keras的同学,请移步 Keras安装和配置指南


在Theano和TensorFlow间切换

Keras默认使用Theano作为后端来进行张量操作,如需切换到TensorFlow,请查看这里


技术支持

你可以在Keras Google group里提问以获得帮助,如果你生活在中国大陆的话,梯子请自备

你也可以在Github issues里提问。在提问之前请确保你阅读过我们的指导

同时,我们也欢迎同学们加我们的QQ群119427073进行讨论(潜水和灌水会被T,入群说明公司/学校-职位/年级)


小额赞助

如果你觉得本文档对你的研究和使用有所帮助,欢迎扫下面的二维码对作者进行小额赞助,以鼓励作者进一步完善文档内容,提高文档质量。同时,不妨为本文档的github加颗星哦

如果你觉得有用页面下有小额赞助的二维码或微信/支付宝账号,说明该页面由其他作者贡献,要对他们进行小额赞助请使用该页面下的二维码或账号

一些基本概念

在开始学习Keras之前,我们希望传递一些关于Keras,关于深度学习的基本概念和技术,我们建议新手在使用Keras之前浏览一下本页面提到的内容,这将减少你学习中的困惑

符号计算

Keras的底层库使用Theano或TensorFlow,这两个库也称为Keras的后端。无论是Theano还是TensorFlow,都是一个“符号主义”的库。

因此,这也使得Keras的编程与传统的Python代码有所差别。笼统的说,符号主义的计算首先定义各种变量,然后建立一个“计算图”,计算图规定了各个变量之间的计算关系。建立好的计算图需要编译已确定其内部细节,然而,此时的计算图还是一个“空壳子”,里面没有任何实际的数据,只有当你把需要运算的输入放进去后,才能在整个模型中形成数据流,从而形成输出值。

Keras的模型搭建形式就是这种方法,在你搭建Keras模型完毕后,你的模型就是一个空壳子,只有实际生成可调用的函数后(K.function),输入数据,才会形成真正的数据流。

使用计算图的语言,如Theano,以难以调试而闻名,当Keras的Debug进入Theano这个层次时,往往也令人头痛。没有经验的开发者很难直观的感受到计算图到底在干些什么。尽管很让人头痛,但大多数的深度学习框架使用的都是符号计算这一套方法,因为符号计算能够提供关键的计算优化、自动求导等功能。

我们建议你在使用前稍微了解一下Theano或TensorFlow,Bing/Google一下即可,如果我们要反baidu,那就从拒绝使用baidu开始,光撂嘴炮是没有用的。

张量

张量,或tensor,是本文档会经常出现的一个词汇,在此稍作解释。

使用这个词汇的目的是为了表述统一,张量可以看作是向量、矩阵的自然推广,我们用张量来表示广泛的数据类型。

规模最小的张量是0阶张量,即标量,也就是一个数。

当我们把一些数有序的排列起来,就形成了1阶张量,也就是一个向量

如果我们继续把一组向量有序的排列起来,就形成了2阶张量,也就是一个矩阵

把矩阵摞起来,就是3阶张量,我们可以称为一个立方体,具有3个颜色通道的彩色图片就是一个这样的立方体

把矩阵摞起来,好吧这次我们真的没有给它起别名了,就叫4阶张量了,不要去试图想像4阶张量是什么样子,它就是个数学上的概念。

张量的阶数有时候也称为维度,或者轴,轴这个词翻译自英文axis。譬如一个矩阵[[1,2],[3,4]],是一个2阶张量,有两个维度或轴,沿着第0个轴(为了与python的计数方式一致,本文档维度和轴从0算起)你看到的是[1,2],[3,4]两个向量,沿着第1个轴你看到的是[1,3],[2,4]两个向量。

要理解“沿着某个轴”是什么意思,不妨试着运行一下下面的代码:

import numpy as np

a = np.array([[1,2],[3,4]])
sum0 = np.sum(a, axis=0)
sum1 = np.sum(a, axis=1)print sum0print sum1

关于张量,目前知道这么多就足够了。事实上我也就知道这么多

'th'与'tf'

这是一个无可奈何的问题,在如何表示一组彩色图片的问题上,Theano和TensorFlow发生了分歧,'th'模式,也即Theano模式会把100张RGB三通道的16×32(高为16宽为32)彩色图表示为下面这种形式(100,3,16,32),Caffe采取的也是这种方式。第0个维度是样本维,代表样本的数目,第1个维度是通道维,代表颜色通道数。后面两个就是高和宽了。

而TensorFlow,即'tf'模式的表达形式是(100,16,32,3),即把通道维放在了最后。这两个表达方法本质上没有什么区别。

Keras默认的后端是Theano,所以所有层的默认数据组织形式是'th',你按这个方式组织数据即可。利用Keras自带的数据库模块下载的数据库也长这个样子。但是如果你习惯把通道维放在最后面,记得所有需要的地方标明你的数据形式是'tf'。

唉,真是蛋疼,你们商量好不行吗?

泛型模型

泛型模型算是本文档比较原创的词汇了,所以这里要说一下

在原本的Keras版本中,模型其实有两种,一种叫Sequential,称为序贯模型,也就是单输入单输出,一条路通到底,层与层之间只有相邻关系,跨层连接统统没有。这种模型编译速度快,操作上也比较简单。第二种模型称为Graph,即图模型,这个模型支持多输入多输出,层与层之间想怎么连怎么连,但是编译速度慢。可以看到,Sequential其实是Graph的一个特殊情况。

在现在这版Keras中,图模型被移除,而增加了了“functional model API”,这个东西,更加强调了Sequential是特殊情况这一点。一般的模型就称为Model,然后如果你要用简单的Sequential,OK,那还有一个快捷方式Sequential。

由于functional model API表达的是“一般的模型”这个概念,我们这里将其译为泛型模型,即只要这个东西接收一个或一些张量作为输入,然后输出的也是一个或一些张量,那不管它是什么鬼,统统都称作“模型”。如果你有更贴切的译法,也欢迎联系我修改。

batch

这个概念与Keras无关,老实讲不应该出现在这里的,但是因为它频繁出现,而且不了解这个技术的话看函数说明会很头痛,这里还是简单说一下。

深度学习的优化算法,说白了就是梯度下降。每次的参数更新有两种方式。

第一种,遍历全部数据集算一次损失函数,然后算函数对各个参数的梯度,更新梯度。这种方法每更新一次参数都要把数据集里的所有样本都看一遍,计算量开销大,计算速度慢,不支持在线学习,这称为Batch gradient descent,批梯度下降。

另一种,每看一个数据就算一下损失函数,然后求梯度更新参数,这个称为随机梯度下降,stochastic gradient descent。这个方法速度比较快,但是收敛性能不太好,可能在最优点附近晃来晃去,hit不到最优点。两次参数的更新也有可能互相抵消掉,造成目标函数震荡的比较剧烈。

为了克服两种方法的缺点,现在一般采用的是一种折中手段,mini-batch gradient decent,小批的梯度下降,这种方法把数据分为若干个批,按批来更新参数,这样,一个批中的一组数据共同决定了本次梯度的方向,下降起来就不容易跑偏,减少了随机性。另一方面因为批的样本数与整个数据集相比小了很多,计算量也不是很大。

基本上现在的梯度下降都是基于mini-batch的,所以Keras的模块中经常会出现batch_size,就是指这个。

顺便说一句,Keras中用的优化器SGD是stochastic gradient descent的缩写,但不代表是一个样本就更新一回,还是基于mini-batch的。

对新手友好的小说明

虽然这不是我们应该做的工作,但为了体现本教程对新手的友好,我们在这里简单列一下使用keras需要的先行知识。稍有经验的研究者或开发者请忽略本节,对于新手,我们建议在开始之前,确保你了解下面提到的术语的基本概念。如果你确实对某项内容不了解,请首先查阅相关资料,以免在未来使用中带来困惑。

关于Python

  • 显然你应对Python有一定的熟悉,包括其基本语法,数据类型,语言特点等,如果你还不能使用Python进行程序设计,或不能避免Python中常见的一些小陷阱,或许你应该先去找个教程补充一下。这里推一个快速学习Python的教程廖雪峰的Python教程
  • 你应该有面向对象的概念,知道类、对象、封装、多态、继承、作用域等术语的含义。
  • 你应该对Python的科学计算包和深度学习包有一定了解,这些包包含但不限于numpy, scipy, scikit-learn, pandas...
  • 特别地,你需要了解什么是生成器函数(generator),以及如何编写生成器函数。什么是匿名函数(lambda)

关于深度学习

由于Keras是为深度学习设计的工具,我们这里只列举深度学习中的一些基本概念。请确保你对下面的概念有一定理解。

  • 有监督学习,无监督学习,分类,聚类,回归
  • 神经元模型,多层感知器,BP算法
  • 目标函数(损失函数),激活函数,梯度下降法
  • 全连接网络、卷积神经网络、递归神经网络
  • 训练集,测试集,交叉验证,欠拟合,过拟合
  • 数据规范化
  • 其他我还没想到的东西……想到再补充

其他

其他需要注意的概念,我们将使用[Tips]标注出来,如果该概念反复出现又比较重要,我们会写到这里。就酱,玩的愉快哟。

原文发布于微信公众号 - CreateAMind(createamind)

原文发表时间:2016-09-25

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏SimpleAI

【DL笔记5】一文上手TensorFlow,并搭建神经网络实现手写数字识别

从【DL笔记1】到【DL笔记N】,是我学习深度学习一路上的点点滴滴的记录,是从Coursera网课、各大博客、论文的学习以及自己的实践中总结而来。从基本的概念、...

996
来自专栏人工智能头条

利用GPU和Caffe训练神经网络

1545
来自专栏机器之心

业界 | OpenAI提出新型神经网络:自动计算词对象,实现实体消岐

2897
来自专栏北京马哥教育

Python数据挖掘:Kmeans聚类数据分析及Anaconda介绍

糖豆贴心提醒,本文阅读时间8分钟 今天我们来讲一个关于Kmeans聚类的数据分析案例,通过这个案例让大家简单了解大数据分析的基本流程,以及使用Python实现...

48613
来自专栏机器之心

「史上最强GAN图像生成器」BigGAN的demo出了!

ICLR 2019 大会将在明年 5 月 6 日于美国举行,9 月 27 日论文提交截止后很多论文引起了大家的关注,其中就有一篇 GAN 生成图像的论文。该研究...

1472
来自专栏jeremy的技术点滴

tensorflow学习笔记_01

3077
来自专栏机器之心

教程 | 如何用PyTorch实现递归神经网络?

选自Nvidia.devblogs 作者:James Bradbury 参与:Jane W、吴攀 从 Siri 到谷歌翻译,深度神经网络已经在机器理解自然语言方...

34212
来自专栏数据科学与人工智能

【DS】Doc2Vec和Logistic回归的多类文本分类

Doc2vec是一个NLP工具,用于将文档表示为向量,是word2vec方法的推广。 为了理解doc2vec,最好理解word2vec方法。但是,完整的数学细节...

1804
来自专栏AI科技大本营的专栏

学习笔记 | Fast.ai深度学习实战课程Lesson2——带你深入了解CNN

Fast.ai 深度学习是我们此前推出的系列课程,共9节课,并且已经进行了汉化。课程主讲人是资深深度学习研究者Jeremy Howard 教授,他本人连续两年在...

6568
来自专栏大数据挖掘DT机器学习

如何使用sklearn进行数据挖掘?

1.1 数据挖掘的步骤 数据挖掘通常包括数据采集,数据分析,特征工程,训练模型,模型评估等步骤。使用sklearn工具可以方便地进行特征工程和模型训练工作,在...

3706

扫码关注云+社区