首页
学习
活动
专区
工具
TVP
发布

阅读笔记

专栏作者
8
文章
12343
阅读量
7
订阅数
Softmax,Softmax loss&Cross entropy
这张图的等号左边部分就是全连接层做的事,W是全连接层的参数,我们也称为权值,X是全连接层的输入,也就是特征。从图上可以看出特征X是N*1的向量,这是怎么得到的呢?这个特征就是由全连接层前面多个卷积层和池化层处理后得到的,假设全连接层前面连接的是一个卷积层,这个卷积层的输出是100个特征(也就是我们常说的feature map的channel为100),每个特征的大小是4*4,那么在将这些特征输入给全连接层之前会将这些特征flat成N*1的向量(这个时候N就是100*4*4=1600)。解释完X,再来看W,W是全连接层的参数,是个T*N的矩阵,这个N和X的N对应,T表示类别数,比如你是7分类,那么T就是7。我们所说的训练一个网络,对于全连接层而言就是寻找最合适的W矩阵。因此全连接层就是执行WX得到一个T*1的向量(也就是图中的logits[T*1]),这个向量里面的每个数都没有大小限制的,也就是从负无穷大到正无穷大。然后如果你是多分类问题,一般会在全连接层后面接一个softmax层,这个softmax的输入是T*1的向量,输出也是T*1的向量(也就是图中的prob[T*1],这个向量的每个值表示这个样本属于每个类的概率),只不过输出的向量的每个值的大小范围为0到1。
用户3636924
2018-12-25
6750
SVM
SVM(Support Vector Machine)要解决的问题可以用一个经典的二分类问题加以描述。
用户3636924
2018-12-25
6770
基追踪降噪(Basis Pursuit De-Noising, BPDN)
等号两边都有x,需要进一步分情况讨论,推导过程见https://www.cnblogs.com/wlzy/p/7966525.html
用户3636924
2018-12-17
2.1K0
RNN & LSTM
所有的RNN均具有一种重复神经网络模块的链式形式,在标准的RNN中,通常重复模块是一个非常简单的结构,eg:只含有一个tanh层。
用户3636924
2018-12-03
1.2K0
梯度下降法(BGD & SGD & Mini-batch SGD)
优化思想:用当前位置的负梯度方向作为搜索方向,亦即为当前位置下降最快的方向,也称“最速下降法”。越接近目标值时,步长越小,下降越慢。
用户3636924
2018-12-02
3.5K0
近几年Facial Expression Recognition相关文章
(1)Facial Expression Recognition by De-expression Residue Learning
用户3636924
2018-11-24
1.5K0
CVRP 2017|DLP-CNN & center loss & Island loss
面部表情识别很大程度上依赖于定义好的数据集,然而这样的数据集往往存在着很多的限制。现有的面部表情数据集往往在严格控制的实验条件下,受试者和测试环境均不具有多样性。受试者被要求按照统一的方式表达感情。
用户3636924
2018-11-19
2K0
CVPR 2018|Best paper: Taskonomy 学习笔记
Taskonomy通过量化不同视觉任务之间的关联、并利用这些关联最优化学习策略。(如果两视觉任务A,B之间具有关联性,那么我们在A中学习到的表达理应可以为解决任务B 提供有效的统计信息)
用户3636924
2018-11-18
7810
没有更多了
社区活动
Python精品学习库
代码在线跑,知识轻松学
【玩转EdgeOne】征文进行中
限时免费体验,发文即有奖~
博客搬家 | 分享价值百万资源包
自行/邀约他人一键搬运博客,速成社区影响力并领取好礼
技术创作特训营·精选知识专栏
往期视频·干货材料·成员作品·最新动态
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档