前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >全连接层&目标函数

全连接层&目标函数

作者头像
用户1386409
发布2018-06-05 15:05:51
1.2K0
发布2018-06-05 15:05:51
举报
文章被收录于专栏:PaddlePaddle

敲黑板!本周PaddlePaddle正在进行栏目改版,周一至周五栏目拟定如下:

周一AI资讯

周二AI技术

周三FAQ问答

周四AI应用

周五AI趣谈

用AI一词既代表人工智能领域,希望内容可获得大家喜爱

改版期欢迎大家留言提出建议,一经采用可有礼物答谢!

正文部分系《解析卷积神经网络——深度学习实践手册》基础理论篇部分

小结部分将前述的基础理论篇的讲解附上,以便大家参考

1

全连接层

如果说卷积层、汇合层和激活函数层等操作是将原始数据映射到隐层特征空间的话,全连接层则起到将学到的特征表示映射到样本的标记空间的作用。

在实际使用中,全连接层可由卷积操作实现:对前层是全连接的全连接层可以转化为卷积核为1 × 1 的卷积;而前层是卷积层的全连接层可以转化为卷积核为h × w 的全局卷积,h 和w 分别为前层卷积输出结果的高和宽。

以经典的VGG-16网络模型为例,对于224 × 224 × 3 的图像输入,最后一层卷积层(指VGG-16中的Pool5)可得输出为7 × 7 × 512 的特征张量,若后层是一层含4096个神经元的全连接层时,则可用卷积核为7 × 7 × 512 × 4096 的全局卷积来实现这一全连接运算过程,其中该卷积核具体参数如下:

% The first fully connected layer

filter_size = 7; padding = 0; strude = 1;

D_in = 512; D_out = 4096;

经过此卷积操作后可得1×1×4096的输出。如需再次叠加一个含2048个神经元的全连接层,

可设定以下参数的卷积层操作:

% The second fully connected layer

filter_size = 1; padding = 0; strude = 1;

D_in = 4096; D_out = 2048;

2

目标函数

全连接层将网络特征映射到样本的标记空间做出预测,目标函数的作用则用来衡量该预测值与真实样本标记之间的误差。在当下的卷积神经网络中,交叉熵损失函数和ℓ2损失函数分别是分类问题和回归问题中最为常用的目标函数。

本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2018-04-24,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 PaddlePaddle 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档