全连接层&目标函数

敲黑板！本周PaddlePaddle正在进行栏目改版，周一至周五栏目拟定如下：

周一AI资讯

周二AI技术

周三FAQ问答

周四AI应用

周五AI趣谈

用AI一词既代表人工智能领域，希望内容可获得大家喜爱

改版期欢迎大家留言提出建议，一经采用可有礼物答谢！

正文部分系《解析卷积神经网络——深度学习实践手册》基础理论篇部分

小结部分将前述的基础理论篇的讲解附上，以便大家参考

1

全连接层

如果说卷积层、汇合层和激活函数层等操作是将原始数据映射到隐层特征空间的话，全连接层则起到将学到的特征表示映射到样本的标记空间的作用。

在实际使用中，全连接层可由卷积操作实现：对前层是全连接的全连接层可以转化为卷积核为1 × 1 的卷积；而前层是卷积层的全连接层可以转化为卷积核为h × w 的全局卷积，h 和w 分别为前层卷积输出结果的高和宽。

以经典的VGG-16网络模型为例，对于224 × 224 × 3 的图像输入，最后一层卷积层（指VGG-16中的Pool5）可得输出为7 × 7 × 512 的特征张量，若后层是一层含4096个神经元的全连接层时，则可用卷积核为7 × 7 × 512 × 4096 的全局卷积来实现这一全连接运算过程，其中该卷积核具体参数如下:

% The first fully connected layer

filter_size = 7; padding = 0; strude = 1;

D_in = 512; D_out = 4096;

经过此卷积操作后可得1×1×4096的输出。如需再次叠加一个含2048个神经元的全连接层，

可设定以下参数的卷积层操作：

% The second fully connected layer

filter_size = 1; padding = 0; strude = 1;

D_in = 4096; D_out = 2048;

2

目标函数

全连接层将网络特征映射到样本的标记空间做出预测，目标函数的作用则用来衡量该预测值与真实样本标记之间的误差。在当下的卷积神经网络中，交叉熵损失函数和ℓ2损失函数分别是分类问题和回归问题中最为常用的目标函数。