关于深度学习系列笔记五（层、网络、目标函数和优化器）

#神经网络的核心组件，即层、网络、目标函数和优化器
#  层，多个层链接在一起组合成网络/模型，将输入数据映射为预测值。
#  输入数据和相应的目标。
#  损失函数，即用于学习的反馈信号；损失函数将这些预测值与目标进行比较，得到损失值，用于衡量网络预测值与预期结果的匹配程度
#  优化器，决定学习过程如何进行；优化器使用损失值来更新网络的权重。
#层：深度学习的基础组件
#  神经网络的基本数据结构是层。层是一个数据处理模块，将一个或多个输入张量转换为一个或多个输出张量。
#  有些层是无状态的，但大多数的层是有状态的，即层的权重。权重是利用随机梯度下降学到的一个或多个张量，其中包含网络的知识。
#  不同的张量格式与不同的数据处理类型需要用到不同的层
#    简单的向量数据保存在形状为(samples, features) 的2D 张量中，通常用密集连接层［densely connected layer，也叫全连接层（fully connected layer）或密集层（dense layer），对应于Keras 的Dense 类］来处理
#    序列数据保存在形状为(samples, timesteps, features) 的3D 张量中，通常用循环层（recurrent layer，比如Keras 的LSTM 层）来处理。
#    图像数据保存在4D 张量中，通常用二维卷积层（Keras 的Conv2D）来处理。
#模型：层构成的网络
#  深度学习模型是层构成的有向无环图。最常见的例子就是层的线性堆叠，将单一输入映射为单一输出。
#  选择正确的网络架构更像是一门艺术而不是科学。虽然有一些最佳实践和原则，但只有动手实践才能让你成为合格的神经网络架构师
#损失函数与优化器：配置学习过程的关键
#  损失函数（目标函数）——在训练过程中需要将其最小化。它能够衡量当前任务是否已成功完成。
#    具有多个输出的神经网络可能具有多个损失函数（每个输出对应一个损失函数）。
#    但是，梯度下降过程必须基于单个标量损失值。
#    因此，对于具有多个损失函数的网络，需要将所有损失函数取平均，变为一个标量值。
#  优化器——决定如何基于损失函数对网络进行更新。它执行的是随机梯度下降（SGD）的某个变体。
#    选择正确的目标函数对解决问题是非常重要的。网络的目的是使损失尽可能最小化，
#    因此，如果目标函数与成功完成当前任务不完全相关，那么网络最终得到的结果可能会不符合你的预期。
#  对于分类、回归、序列预测等常见问题，你可以遵循一些简单的指导原则来选择正确的损失函数
#    对于二分类问题，你可以使用二元交叉熵（binary crossentropy）损失函数；
#    对于多分类问题，可以用分类交叉熵（categorical crossentropy）损失函数；
#    对于回归问题，可以用均方误差（mean-squared error）损失函数；
#    对于序列学习问题，可以用联结主义时序分类（CTC，connectionist temporal classification）损失函数
#    在面对真正全新的研究问题时，需要自主开发目标函数。

#典型的Keras 工作流程
#(1) 定义训练数据：输入张量和目标张量。
#(2) 定义层组成的网络（或模型），将输入映射到目标。
#(3) 配置学习过程：选择损失函数、优化器和需要监控的指标。
#(4) 调用模型的fit 方法在训练数据上进行迭代。

#定义模型有两种方法：
#一种是使用Sequential 类（仅用于层的线性堆叠，这是目前最常见的网络架构）
# 另一种是函数式API（functional API，用于层组成的有向无环图，让你可以构建任意形式的架构）。
from keras import models
from keras import layers
#使用Sequential 类
model = models.Sequential()
model.add(layers.Dense(32, activation='relu', input_shape=(784,)))
model.add(layers.Dense(10, activation='softmax'))
#函数式API
input_tensor = layers.Input(shape=(784,))
x = layers.Dense(32, activation='relu')(input_tensor)
output_tensor = layers.Dense(10, activation='softmax')(x)
model = models.Model(inputs=input_tensor, outputs=output_tensor)
from keras import optimizers
#编译这一步，你需要指定模型使用的优化器和损失函数，以及训练过程中想要监控的指标
model.compile(optimizer=optimizers.RMSprop(lr=0.001),loss='mse',metrics=['accuracy'])
#学习过程就是通过fit() 方法将输入数据的Numpy 数组（和对应的目标数据）传入模型。
#model.fit(input_tensor, target_tensor, batch_size=128, epochs=10)