神经网络的核心组件,即层、网络、目标函数和优化器
层,多个层链接在一起组合成网络/模型,将输入数据映射为预测值。
输入数据和相应的目标。
损失函数,即用于学习的反馈信号;损失函数将这些预测值与目标进行比较,得到损失值,用于衡量网络预测值与预期结果的匹配程度
优化器,决定学习过程如何进行;优化器使用损失值来更新网络的权重。
代码示例
#神经网络的核心组件,即层、网络、目标函数和优化器
# 层,多个层链接在一起组合成网络/模型,将输入数据映射为预测值。
# 输入数据和相应的目标。
# 损失函数,即用于学习的反馈信号;损失函数将这些预测值与目标进行比较,得到损失值,用于衡量网络预测值与预期结果的匹配程度
# 优化器,决定学习过程如何进行;优化器使用损失值来更新网络的权重。
#层:深度学习的基础组件
# 神经网络的基本数据结构是层。层是一个数据处理模块,将一个或多个输入张量转换为一个或多个输出张量。
# 有些层是无状态的,但大多数的层是有状态的,即层的权重。权重是利用随机梯度下降学到的一个或多个张量,其中包含网络的知识。
# 不同的张量格式与不同的数据处理类型需要用到不同的层
# 简单的向量数据保存在形状为(samples, features) 的2D 张量中,通常用密集连接层[densely connected layer,也叫全连接层(fully connected layer)或密集层(dense layer),对应于Keras 的Dense 类]来处理
# 序列数据保存在形状为(samples, timesteps, features) 的3D 张量中,通常用循环层(recurrent layer,比如Keras 的LSTM 层)来处理。
# 图像数据保存在4D 张量中,通常用二维卷积层(Keras 的Conv2D)来处理。
#模型:层构成的网络
# 深度学习模型是层构成的有向无环图。最常见的例子就是层的线性堆叠,将单一输入映射为单一输出。
# 选择正确的网络架构更像是一门艺术而不是科学。虽然有一些最佳实践和原则,但只有动手实践才能让你成为合格的神经网络架构师
#损失函数与优化器:配置学习过程的关键
# 损失函数(目标函数)——在训练过程中需要将其最小化。它能够衡量当前任务是否已成功完成。
# 具有多个输出的神经网络可能具有多个损失函数(每个输出对应一个损失函数)。
# 但是,梯度下降过程必须基于单个标量损失值。
# 因此,对于具有多个损失函数的网络,需要将所有损失函数取平均,变为一个标量值。
# 优化器——决定如何基于损失函数对网络进行更新。它执行的是随机梯度下降(SGD)的某个变体。
# 选择正确的目标函数对解决问题是非常重要的。网络的目的是使损失尽可能最小化,
# 因此,如果目标函数与成功完成当前任务不完全相关,那么网络最终得到的结果可能会不符合你的预期。
# 对于分类、回归、序列预测等常见问题,你可以遵循一些简单的指导原则来选择正确的损失函数
# 对于二分类问题,你可以使用二元交叉熵(binary crossentropy)损失函数;
# 对于多分类问题,可以用分类交叉熵(categorical crossentropy)损失函数;
# 对于回归问题,可以用均方误差(mean-squared error)损失函数;
# 对于序列学习问题,可以用联结主义时序分类(CTC,connectionist temporal classification)损失函数
# 在面对真正全新的研究问题时,需要自主开发目标函数。
#典型的Keras 工作流程
#(1) 定义训练数据:输入张量和目标张量。
#(2) 定义层组成的网络(或模型),将输入映射到目标。
#(3) 配置学习过程:选择损失函数、优化器和需要监控的指标。
#(4) 调用模型的fit 方法在训练数据上进行迭代。
#定义模型有两种方法:
#一种是使用Sequential 类(仅用于层的线性堆叠,这是目前最常见的网络架构)
# 另一种是函数式API(functional API,用于层组成的有向无环图,让你可以构建任意形式的架构)。
from keras import models
from keras import layers
#使用Sequential 类
model = models.Sequential()
model.add(layers.Dense(32, activation='relu', input_shape=(784,)))
model.add(layers.Dense(10, activation='softmax'))
#函数式API
input_tensor = layers.Input(shape=(784,))
x = layers.Dense(32, activation='relu')(input_tensor)
output_tensor = layers.Dense(10, activation='softmax')(x)
model = models.Model(inputs=input_tensor, outputs=output_tensor)
from keras import optimizers
#编译这一步,你需要指定模型使用的优化器和损失函数,以及训练过程中想要监控的指标
model.compile(optimizer=optimizers.RMSprop(lr=0.001),loss='mse',metrics=['accuracy'])
#学习过程就是通过fit() 方法将输入数据的Numpy 数组(和对应的目标数据)传入模型。
#model.fit(input_tensor, target_tensor, batch_size=128, epochs=10)
本文分享自 python与大数据分析 微信公众号,前往查看
如有侵权,请联系 cloudcommunity@tencent.com 删除。
本文参与 腾讯云自媒体同步曝光计划 ,欢迎热爱写作的你一起参与!