Matlab 使用CNN拟合回归模型预测手写数字的旋转角度

clc
close all
clear
%% 加载数据
%% 数据集包含手写数字的合成图像，以及每幅图像旋转的对应角度(以角度为单位)。
%% 使用digitTrain4DArrayData和digitTest4DArrayData将训练和验证图像加载为4D数组。
%% 输出YTrain和YValidation是以角度为单位的旋转角度。每个训练和验证数据集包含5000张图像。
[XTrain, ~, Ytrain] = digitTrain4DArrayData;
[XValidation, ~, YValidation] = digitTest4DArrayData;
%% 随机显示20张训练图像
numTrainImages = numel(Ytrain);
figure;
idx = randperm(numTrainImages, 20);
for i = 1 : numel(idx)
  subplot(4, 5, i);
  imshow(XTrain(:, :, :, idx(i)))
  drawnow
end

%% 绘制响应分布：在分类问题中，输出是类概率，类概率总是归一化的。
figure;
histogram(Ytrain)
axis tight
ylabel('Counts')
xlabel('Rotation Angle')

%% 创建网络层
%% 第一层定义输入数据的大小和类型。输入的图像大小为28×28×1。创建与训练图像大小相同的图像输入层。
%% 网络的中间层定义了网络的核心架构，大部分计算和学习都在这个架构中进行。
%% 最后一层定义输出数据的大小和类型。对于回归问题，全连接层必须先于网络末端的回归层。
layers = [
  imageInputLayer([28 28 1])
  batchNormalizationLayer
  reluLayer
  
  averagePooling2dLayer(2, 'Stride', 2)
  
  convolution2dLayer(3, 16, 'Padding', 'same')
  batchNormalizationLayer
  reluLayer
  
  averagePooling2dLayer(2, 'Stride', 2)
  
  convolution2dLayer(3, 32, 'Padding', 'same')
  batchNormalizationLayer
  reluLayer
  
  convolution2dLayer(3, 32, 'Padding', 'same')
  batchNormalizationLayer
  reluLayer
  
  dropoutLayer(0.2)
  fullyConnectedLayer(1)
  regressionLayer];

%% 训练网络——Options
%% Train for 30 epochs 学习率0.001 在20个epoch后降低学习率。
%% 通过指定验证数据和验证频率，监控培训过程中的网络准确性。
%% 根据训练数据对网络进行训练，并在训练过程中定期对验证数据进行精度计算。
%% 验证数据不用于更新网络权重。打开训练进度图，并关闭命令窗口输出。
miniBatchSize = 128;
validationFrequency = floor(numel(Ytrain) / miniBatchSize);
options = trainingOptions('sgdm', ...
  'MiniBatchSize', miniBatchSize, ...
  'MaxEpochs', 30, ...
  'InitialLearnRate', 1e-3, ...
  'LearnRateSchedule', 'piecewise', ...
  'LearnRateDropFactor', 0.1, ...
  'LearnRateDropPeriod', 20, ...
  'Shuffle', 'every-epoch', ...
  'ValidationData', {XValidation, YValidation}, ...
  'ValidationFrequency', validationFrequency, ...
  'Plots', 'training-progress', ...
  'Verbose', false);

net = trainNetwork(XTrain, Ytrain, layers, options);

YPredicted = predict(net,XValidation);

predictionError = YValidation - YPredicted;

thr = 10;
numCorrect = sum(abs(predictionError) < thr);
numValidationImages = numel(YValidation);
accuracy = numCorrect/numValidationImages

squares = predictionError.^2;
rmse = sqrt(mean(squares))

accuracy =
    0.9584


rmse =
  single
    4.8987