首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >深度学习: softmax loss 计算

深度学习: softmax loss 计算

作者头像
JNingWei
发布2018-09-27 15:52:31
2K0
发布2018-09-27 15:52:31
举报
文章被收录于专栏:JNing的专栏JNing的专栏

转载自caffe层解读系列-softmax_loss:

计算过程

softmax_loss的计算包含2步:

(1)计算softmax归一化概率

归一化概率
归一化概率

(2)计算损失

这里写图片描述
这里写图片描述

这里以batchsize=1的2分类为例:

设最后一层的输出为[1.2 0.8],减去最大值后为[0 -0.4],

然后计算归一化概率得到[0.5987 0.4013],

假如该图片的label为1,则Loss=-log0.4013=0.9130

可选参数

(1) ignore_label

int型变量,默认为空。 如果指定值,则label等于ignore_label的样本将不参与Loss计算,并且反向传播时梯度直接置0.

(2) normalize

bool型变量,即Loss会除以参与计算的样本总数;否则Loss等于直接求和

(3) normalization

本文参与 腾讯云自媒体分享计划,分享自作者个人站点/博客。
原始发表:2017年12月20日,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体分享计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 计算过程
    • (1)计算softmax归一化概率
      • (2)计算损失
      • 可选参数
        • (1) ignore_label
          • (2) normalize
            • (3) normalization
            领券
            问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档