问题描述
举一个mnist手写数据集的识别的例子,这个数据集在机器学习中是非常经典的数据集,由60k个训练样本和10k个测试样本组成,每个样本都是一张28*28像素的灰度手写数字图片。这些高维图片无法用一个线性模型来实现,因此,就需要用一个非线性模型来实现。下面,就通过方法介绍和代码示例来完成这个实例。
方法介绍:
由于线性模型无法满足,需要实现的数据集识别的需求,因此需要引入激活函数(Relu函数),其目的是用来加入非线性因素。如果这样还是不能够满足需求,可以通过串联非线性层来增加复杂度,以得到一个这样的输出:out=relu{relu{relu[X@W1+b1]@W2+b2}@W3+b3}。如图1,是Relu函数的函数模型。
图1 Relu函数模型
解决方案
1.导入tensorflow为tf、获取数据集
import tensorflow as tf
from tensorflow import keras
from tensorflow.keras import datasets
(x,y),_ = datasets.mnist.load_data()
2.创建tensor
把numpy转换为tensor,并且通过除以255来将x值从0~255调整为0~1。
x = tf.convert_to_tensor(x,dtype=tf.float32) / 255.
y = tf.convert_to_tensor(y,dtype=tf.int32)
print(tf.reduce_min(x),tf.reduce_max(x)) #查看x最小值、最大值
print(tf.reduce_min(y),tf.reduce_max(y)) #查看y最小值、最大值
3.创建数据集
通过batch一次获取128个数据,使数据变为可迭代对象后,不停调用next方法。
train_db = tf.data.Dataset.from_tensor_slices((x,y)).batch(128)
train_iter = iter(train_db) #迭代器,以便能够不停调用next
sample = next(train_iter)
print('batch:',sample[0].shape,sample[1].shape)
4.定义参数与学习率
通过tf.random.truncated_normal()方法来随机生成维度为[784,256]的参数,其中stddev是正态分布的标准差;lr是学习率。
w1 = tf.Variable(tf.random.truncated_normal([784,256],stddev=0.1)) #stddev用来设置标准差
b1 = tf.Variable(tf.zeros([256]))
w2 = tf.Variable(tf.random.truncated_normal([256,128],stddev=0.1))
b2 = tf.Variable(tf.zeros([128]))
w3 = tf.Variable(tf.random.truncated_normal([128,10],stddev=0.1))
b3 = tf.Variable(tf.zeros([10]))
lr=1e-3
5.循环数据集
把训练过程放在withtf.GradientTape()astape中,之后可以用tape.gradient()自动求得梯度,用forstep分批循环数据集,再对整个数据集进行十次循环。
or epoch in range(10): # iterate db for 10
# 分批循环数据集
for step,(x,y) in enumerate(train_db): # for every batch
# x:[128,28,28]
# y:[128]
# [b,28,28] => [b,28*28]
# 把 x 转换为[batch,784]
x = tf.reshape(x,[-1,28*28])
# tensor提供的自动求导
# 把训练过程放在with tf.GradientTape() as tape中,之后可以用tape.gradient()自动求得梯度
with tf.GradientTape() as tape: # tf.Variable
# x:[b,28*28]
# h1 = x @ w1 + b1
# [b,784] @ [784,256] + [256] => [b,256] + [256] => [b,256] + [256]
h1 = x @ w1 + tf.broadcast_to(b1,[x.shape[0],256])
# 非线性激励
h1 = tf.nn.relu(h1)
#[b,256] => [b,128]
h2 = h1 @ w2 + b2
h2 = tf.nn.relu(h2)
# [b,128] => [b,10]
out = h2 @ w3 + b3
# compute loss
# out:[b,10]
# y:[b] => [b,10]
y_onehot = tf.one_hot(y,depth=10)
# mse = mean(sum(y-out)**2)
# [b,10]
loss = tf.square(y_onehot - out)
# mean:scalar
loss = tf.reduce_mean(loss)
6.传入损失函数
传入loss函数和参数,并通过梯度下降方法对数据进行更新。
grads = tape.gradient(loss,[w1,b1,w2,b2,w3,b3])
# w1 = w1 - lr * w1_grad
w1.assign_sub(lr * grads[0])
b1.assign_sub(lr * grads[1])
w2.assign_sub(lr * grads[2])
b2.assign_sub(lr * grads[3])
w3.assign_sub(lr * grads[4])
b3.assign_sub(lr * grads[5])
7.输入损失值
if step % 100 == 0:
print(epoch,step,'loss:',float(loss))
输出结果:
END
编 辑 | 王楠岚
责 编 | 吴怡辰