[Deep-Learning-with-Python]神经网络入手学习[上]

神经网络入手[上]

  • [x] 神经网络的核心部分
  • [x] Keras介绍
  • [ ] 使用Keras解决简单问题:分类和回归

神经网络剖析

神经网络的训练与下列对象相关:

  • 网络层Layers,网络层结合形成神经网络模型;
  • 输入数据以及对应标签;
  • 损失函数,定义用来学习的反馈信号;
  • 优化方法,定义学习过程。 关系图:

网络层堆叠形成网络模型,网络模型由输入数据得到预测值。损失函数比较预测值与实际值,得到损失函数值:用来评估预测结果的好坏;优化方法用损失值来更新网络模型的权重系数。

网络层:神经网络模型的构建模块

网络层是神经网络的基本数据结构。一个网络层把一个或多个数据输入张量进行数据处理过程得到一个或多个输出张量。一些网络层是无状态的(没有网络参数),但大多数网络层是有状态的---网络层的权重系数,这些通过随机梯度下降算法学到的权重张量,形成了网络层的知识。 不同的网络进行的数据处理各不相同,因此需要的数据格式及数据类型也有所差异。比如:2D张量,形状为(samples,features)存储简单的向量信息,通常是全连接层(FC 或 Dense)的输入格式要求;LSTM网络层通常处理3D张量,形状为(samples,timesteps,featuers)的序列数据;2D卷积层通常处理存储在4D张量中的图片数据。

可以把网络层看做深度学习的乐高积木块,通过积木块我们可以搭建不同的网络模型。在Keras框架中通过把相互兼容的网络层堆叠形成数据处理过程,而网络层的兼容性是指该网络层接收特定形状的输入张量同时返回特东形状的输出张量。 例如:

from keras import layers
layer = layers.Dense(32, input_shape=(784, ))

定义的网络层只接收2D张量,第一维度为784,;同时网络层输出的第一维度为32。 在Keras中,不必担心网络的兼容性,因为添加到网络模型中的网络层是动态构建地,匹配接下来连接的网络层。比如:

from keras import models
from keras import layers

model = models.Sequential()
model.add(layers.Dense(32, input_shape=(784, )))
model.add(layers.Dense(32))

第二个Dense层不必定义接收张量的形状,keras能自动定义。

网络模型:网络层堆叠而成

一个神经网络模型是网络层的非循环连接而成。最常见的是网络层的线性连接堆叠,讲一个输入张量转换为一个输出张量。 也存在不同的网络拓扑结构,如:

  • 二分支网络模型;
  • 多分支网络模型;
  • Inception块.

网络模型的拓扑结构定义了一个假设空间。通过选择网络模型的拓扑结构,限制了假设空间能进行的张量操作,通过这些张量操作有输出张量得到对应的输出张量;之后寻找这些张量操作中涉及到的权重系数张量。 网络模型结构的选择与其说是一门科学不如说是一门艺术,尽管存在一些可以依赖的经验和原理,但只有不断尝试才能使你成为一个优秀的神经网络缔造者。

损失函数和优化算法:配置学习过程的关键

网络模型结构定义完成之后,仍然需要定义两件事:

  • 损失函数:训练过程中最小化的函数值,一种评估网络模型的表现;
  • 优化算法:决定基于损失函数如何更新权重系数;有常见的SGD,以及变种SGD算法。

多输出神经网络模型可能有多个损失函数(一个输出一个损失函数)。但是梯度下降过程必然是基于一个损失函数标量值;所以,对于有多个损失函数的网络模型来说,所有的损失函数值必须整合(平均化处理)成一个标量值

特定问题需要选择特定的损失函数。对于常见的问题,如:分类、回归、序列预测,有对应的指导-选择正确的损失函数。具体:二分类问题使用对数损失binary crossentropy,多分类问题采用分类交叉熵categorical crossentropy,回归问题使用均方误差,序列学习问题采用Connectionist temporal classification(CTC)损失函数等等。只有在面对真正要解决的科学问题时,才能决定要使用的损失函数类型以及定义。

Keras 介绍

Keras是一个Python语言的深度学习框架,提供了快速搞笑的深度学习网络模型定义和训练方法。Keras设计初衷是为了方便科学家能进行快速实验。Keras特征:

  • 相同代码同时支持CPU、GPU运行;
  • 用户友好API--网络模型定义、训练方便;
  • 内置卷积神经网络、循环神经网络等等;
  • 支持任意的网络架构:多输入、多输出网络模型,网络层共享,模型共享等等。 Keras支持所有的Python版本,从2.7到3.6(mid-2017).Keras 有200000个用户,从学术科学家和工程师到新手以及大公司的毕业生,还有兴趣爱好者。Google、Netflix、Uber、CERN、Yelp,Square以及上百个创业公司都猜使用Keras框架应用在相应的业务上。Keras也是Kaggle上流行的网络框架。

Keras,TensorFlow,Theano 和 CNTK

Keras 是一个模型级别的工具库,提供构建神经网络模型的高级API。Keras并不进行底层的操作比如张量操作和导数计算;相应地,Keras以来与特定的张量库进行这些操作,作为Keras的背后引擎。目前,Keras支持3个背后引擎:TensorFlow、Theano和CNTK。将来,有望支持更多的深度学习框架成为Keras的背后计算引擎。

Keras开发

Keras工作流大致如下:

  1. 定义训练数据:输入张量和目标张量;
  2. 定义网络层(或网络模型):由输入张量处理得到输出张量;
  3. 配置训练过程--选择损失函数、优化算法以及监测指标;
  4. 通过调用模型的fit()方法在训练数据上迭代训练。

模型定义有两种方法:使用Sequential类(使用于网络层的线性堆叠,目前最常见);以及函数式API(支持任意网络架构,更灵活)。 方法一:Sequential类

from keras import models
from keras import layers

model = models.Sequential()
model.add(layers.Dense(32, activation='relu', input_shape=(784,)))
model.add(layers.Dense(10, activation='softmax'))

方法二: 函数式API

input_tensor = layers.Input(shape=(784,))
x = layers.Dense(32, activation='relu')(input_tensor)
output_tensor = layers.Dense(10, activation='softmax')(x)

model = models.Model(inputs=input_tensor, outputs=output_tensor)

一旦模型架构定义完成,不必区分到底网络模型是怎么定义的,之后的处理步骤没有差别。 学习过程在编译过程中配置:定义优化算法、损失函数和监测指标。比如:

from keras import optimizers

model.compile(optimizer=optimizer.RMSProp(lr=0.001),loss='mse',metrics=['accuracy'])

最后,通过fit()方法将numpy数组形式的输入数据(以及对应标签)输入到网络模型中进行模型的学习过程。

model.fit(input_tensor, target_tensor, batch_size=128, epochs=10)

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏机器之心

教程 | 将注意力机制引入RNN,解决5大应用领域的序列预测问题

3704
来自专栏人工智能LeadAI

深度学习之RNN、LSTM及正向反向传播原理

RNN( Recurrent Neural Network 循环(递归)神经网络) 跟人的大脑记忆差不多。我们的任何决定,想法都是根据我们之前已经学到的东西产生...

1143
来自专栏大数据挖掘DT机器学习

基于树的预测模型-完整教程

基于树的学习算法被认为是最好的方法之一,主要用于监测学习方法。基于树的方法支持具有高精度、高稳定性和易用性解释的预测模型。不同于线性模型,它们映射非线性关系相当...

2895
来自专栏UAI人工智能

深度学习入门第四讲

17711
来自专栏SIGAI学习与实践平台

卷积神经网络的压缩和加速

我们先来看看当前深度学习平台中,卷积层的实现方式,其实当前所有的深度学习平台中,都是以矩阵乘法的方式实现卷积的(如图1左侧):

8848
来自专栏磐创AI技术团队的专栏

详解谱聚类原理

1993
来自专栏深度学习自然语言处理

深度学习之RNN、LSTM及正向反向传播原理

总说 RNN( Recurrent Neural Network 循环(递归)神经网络) 跟人的大脑记忆差不多。我们的任何决定,想法都是根据我们之前已经学到的...

1.1K9
来自专栏AI研习社

CVPR Spotlight 论文:当零示例学习遇上网络数据

AI 研习社按:本文由美国莱斯大学博士后牛力为 AI 科技评论提供的独家稿件,未经许可不得转载。

771
来自专栏AI科技评论

开发 | 用卷积神经网络处理 “图” 结构数据应该怎么办?这篇文章告诉你答案

本文要介绍的这一篇 paper 是 ICML2016 上一篇关于 CNN 在图(graph)上的应用。ICML 是机器学习方面的顶级会议,这篇文章 --<<Le...

30012
来自专栏程序员Gank

神经网络和深度学习(吴恩达-Andrew-Ng):一二周学习笔记

机器学习: 机器学习研究的是计算机怎样模拟人类的学习行为,以获取新的知识或技能,并重新组织已有的知识结构使之不断改善自身。简单的说,就是计算机从数据中学习规律和...

6961

扫码关注云+社区

领取腾讯云代金券