第三章(1.6)tensorflow cross_entropy 四种交叉熵计算函数

一、Tensorflow交叉熵函数:cross_entropy

以下交叉熵计算函数输入中的logits都不是softmaxsigmoid的输出,因为它在函数内部进行了sigmoidsoftmax操作

1、tf.nn.sigmoid_cross_entropy_with_logits(_sentinel=None, labels=None, logits=None, name=None)

  • _sentinel:本质上是不用的参数,不用填
  • labels:一个和logits具有相同的数据类型(type)和尺寸形状(shape)的张量(tensor
  • shape:[batch_size,num_classes],单样本是[num_classes]
  • logits:一个数据类型(type)是float32float64的张量
  • name:操作的名字,可填可不填
  • 它对于输入的logits先通过sigmoid函数计算,再计算它们的交叉熵,但是它对交叉熵的计算方式进行了优化,使得结果不至于溢出
  • 它适用于每个类别相互独立但互不排斥的情况:例如一幅图可以同时包含一条狗和一只大象

2、tf.nn.softmax_cross_entropy_with_logits(_sentinel=None, labels=None, logits=None, dim=-1, name=None)

  • _sentinel:本质上是不用的参数,不用填
  • labels:每一行labels[i]必须是一个有效的概率分布,one_hot=True(向量中只有一个值为1,其他值为0)
  • logitslabelslogits具有相同的数据类型(type)和尺寸(shape
  • shape:[batch_size,num_classes],单样本是[num_classes]
  • name:操作的名字,可填可不填
  • 它对于输入的logits先通过softmax函数计算
  • 它适用于每个类别相互独立且排斥的情况,一幅图只能属于一类,而不能同时包含一条狗和一只大象

3、tf.nn.sparse_softmax_cross_entropy_with_logits(_sentinel=None, labels=None, logits=None, name=None)

  • _sentinel:本质上是不用的参数,不用填
  • labels:shape[batch_size],labels[i][0,num_classes)的一个索引, typeint32int64
  • logits:shape[batch_size,num_classes],typefloat32float64
  • name:操作的名字,可填可不填
  • 它适用于每个类别相互独立且排斥的情况,一幅图只能属于一类,而不能同时包含一条狗和一只大象

4、tf.nn.weighted_cross_entropy_with_logits(labels, logits, pos_weight, name=None)

  • 计算具有权重的sigmoid交叉熵sigmoid_cross_entropy_with_logits()
  • _sentinel:本质上是不用的参数,不用填
  • labels:一个和logits具有相同的数据类型(type)和尺寸形状(shape)的张量(tensor
  • shape:[batch_size,num_classes],单样本是[num_classes]
  • logits:一个数据类型(type)是float32float64的张量
  • pos_weight:正样本的一个系数
  • name:操作的名字,可填可不

5、计算公式: pos_weight*labels * -log(sigmoid(logits)) + (1 - labels) * -log(1 - sigmoid(logits))

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

扫码关注云+社区

领取腾讯云代金券