全连接层&目标函数

敲黑板!本周PaddlePaddle正在进行栏目改版,周一至周五栏目拟定如下:

周一AI资讯

周二AI技术

周三FAQ问答

周四AI应用

周五AI趣谈

用AI一词既代表人工智能领域,希望内容可获得大家喜爱

改版期欢迎大家留言提出建议,一经采用可有礼物答谢!

正文部分系《解析卷积神经网络——深度学习实践手册》基础理论篇部分

小结部分将前述的基础理论篇的讲解附上,以便大家参考

1

全连接层

如果说卷积层、汇合层和激活函数层等操作是将原始数据映射到隐层特征空间的话,全连接层则起到将学到的特征表示映射到样本的标记空间的作用。

在实际使用中,全连接层可由卷积操作实现:对前层是全连接的全连接层可以转化为卷积核为1 × 1 的卷积;而前层是卷积层的全连接层可以转化为卷积核为h × w 的全局卷积,h 和w 分别为前层卷积输出结果的高和宽。

以经典的VGG-16网络模型为例,对于224 × 224 × 3 的图像输入,最后一层卷积层(指VGG-16中的Pool5)可得输出为7 × 7 × 512 的特征张量,若后层是一层含4096个神经元的全连接层时,则可用卷积核为7 × 7 × 512 × 4096 的全局卷积来实现这一全连接运算过程,其中该卷积核具体参数如下:

% The first fully connected layer

filter_size = 7; padding = 0; strude = 1;

D_in = 512; D_out = 4096;

经过此卷积操作后可得1×1×4096的输出。如需再次叠加一个含2048个神经元的全连接层,

可设定以下参数的卷积层操作:

% The second fully connected layer

filter_size = 1; padding = 0; strude = 1;

D_in = 4096; D_out = 2048;

2

目标函数

全连接层将网络特征映射到样本的标记空间做出预测,目标函数的作用则用来衡量该预测值与真实样本标记之间的误差。在当下的卷积神经网络中,交叉熵损失函数和ℓ2损失函数分别是分类问题和回归问题中最为常用的目标函数。

原文发布于微信公众号 - PaddlePaddle(PaddleOpenSource)

原文发表时间:2018-04-24

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏机器学习算法与Python学习

各种相似性度量及Python实现

关键字全网搜索最新排名 【机器学习算法】:排名第一 【机器学习】:排名第二 【Python】:排名第三 【算法】:排名第四 ? 距离 ? 在做很多研究问题时常常...

38080
来自专栏人工智能头条

TensorFlow下构建高性能神经网络模型的最佳实践

15120
来自专栏一个会写诗的程序员的博客

BP 神经网络算法

x的值可能为[−∞,+∞],为了方便处理,需要将其压缩到一个合理的范围,还需 这样的激励函数,能够将刚才的区间压缩到[0,1]。

13430
来自专栏鸿的学习笔记

写给开发者的机器学习指南(三)

在本节中,我们将解释一些可用于模型验证的技术,以及在验证技术范围内机器学习领域常用的一些术语。

7410
来自专栏GAN&CV

全面解读Group Normbalization-(吴育昕-何凯明)

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/qq_25737169/article/d...

13230
来自专栏机器学习算法与Python学习

教你如何用python解决非平衡数据建模(附代码与数据)

95660
来自专栏AI科技评论

干货 | 如何理解深度学习分布式训练中的large batch size与learning rate的关系?

问题详情: 在深度学习进行分布式训练时,常常采用同步数据并行的方式,也就是采用大的batch size进行训练,但large batch一般较于小的baseli...

84790
来自专栏计算机视觉战队

深度学习超参数简单理解

首先谢谢读者的指正,现在已经把所有遮挡的都处理完毕,谢谢您们的指正,谢谢! ---- 正文: 说到这些参数就会想到Stochastic Gra...

38440
来自专栏小小挖掘机

推荐系统遇上深度学习(一)--FM模型理论和实践

1、FM背景 在计算广告和推荐系统中,CTR预估(click-through rate)是非常重要的一个环节,判断一个商品的是否进行推荐需要根据CTR预估的点击...

2.6K100
来自专栏AI研习社

用 TensorFlow 实现物体检测的像素级分类

雷锋网 AI 科技评论按:本文作者 Priyanka Kochhar 从事数据科学十多年,现在在运营一家深度学习咨询公司,她曾帮助多家创业公司完成人工智能解决方...

13220

扫码关注云+社区

领取腾讯云代金券