两种交叉熵损失函数的异同

在学习机器学习的时候,我们会看到两个长的不一样的交叉熵损失函数。 假设我们现在有一个样本 {x,t},这两种损失函数分别是。

t_j说明样本的ground-truth是第j类。

这两个都是交叉熵损失函数,但是看起来长的却有天壤之别。为什么同是交叉熵损失函数,长的却不一样呢?

因为这两个交叉熵损失函数对应不同的最后一层的输出。第一个对应的最后一层是softmax,第二个对应的最后一层是sigmoid。

如果看到这个答案就明白了的话,就没必要往下看了,如果感觉云里雾里的话,请听细细分解。

首先来看信息论中交叉熵的定义:

交叉熵是用来描述两个分布的距离的,神经网络训练的目的就是使 g(x)g(x) 逼近 p(x)p(x)。

现在来看softmax作为最后一层的情况。g(x)是什么呢?就是最后一层的输出 y 。p(x)是什么呢?就是我们的one-hot标签。我们带入交叉熵的定义中算一下,就会得到第一个式子:

  • j : 样本x属于第j类。

再来看sigmoid作为最后一层的情况。sigmoid作为最后一层输出的话,那就不能吧最后一层的输出看作成一个分布了,因为加起来不为1。现在应该将最后一层的每个神经元看作一个分布,对应的 target 属于二项分布(target的值代表是这个类的概率),那么第 i 个神经元交叉熵为:

,所以最后一层总的交叉熵损失函数是

解释完了,最后总结一下:这两个长的不一样的交叉熵损失函数实际上是对应的不同的输出层。

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏机器学习入门

PRML系列:1.3 Model Selection

PRML系列:1.3 Model Selection 模型选择 模型选择一般采用交叉验证,本节提到了S-fold cross-validation,原理如下,把...

1888
来自专栏SnailTyan

Very Deep Convolutional Networks for Large-Scale Image Recognition—VGG论文翻译—中英文对照

Very Deep Convolutional Networks for Large-Scale Image Recognition ABSTRACT In t...

2370
来自专栏帮你学MatLab

工具函数

工具函数 显示对比结果 clc %% 不使用遗传算法 %% 使用随机权值和阈值 inputnum=size(P,1); % 输入层神经元个数 o...

2796
来自专栏ATYUN订阅号

【学术】浅谈神经网络中的梯度爆炸问题

梯度爆炸是一个在训练过程中大的误差梯度不断累积,导致神经网络模型权重出现大幅更新的问题。这会影响你的模型不稳定,无法从你的训练数据中学习。 在这篇文章中,我将带...

3696
来自专栏人工智能

机器学习三人行-Logistic和Softmax回归实战剖析

关注公众号“智能算法”即可一起学习整个系列的文章 本文主要实战Logistic回归和softmax回归在iris数据集上的应用,通过该文章,希望我们能一起掌握该...

1946
来自专栏深度学习与计算机视觉

TensorFlow 图像处理和解码操作函数概述

TensorFlow提供提供了42个图像处理相关的函数,主要涉及解码编码,简单的图像几何变换等等。比较有特点的一个方面是有很多随机性的操作,主要增加模型的泛化能...

2835
来自专栏漫漫深度学习路

softmax交叉熵与最大似然估计

其实我们常用的 softmax 交叉熵损失函数,和 最大似然估计是等价的。 首先来看 softmax 交叉熵目标函数是什么样子的: 对于N个样本 [图片] ...

3409
来自专栏机器学习和数学

[深度学习] AlexNet,GoogLeNet,VGG,ResNet简化版

总结了一下这几个网络的比较重要的点,像这些经典的网络,面试的时候,估计会经常问到,怎么用自己的话说出来?不知道大家想过没有。 今天有空就总结了一下,尽量简单和通...

4669
来自专栏决胜机器学习

机器学习(二十五) ——adaboost算法与实现

机器学习(二十五)——adaboost算法与实现 (原创内容,转载请注明来源,谢谢) 一、概述 当进行监督学习时,除了使用某个分类器外,还可以将各个分类器结...

3328
来自专栏云时之间

深度学习与TensorFlow:实现卷积神经网络

在上一篇文章,我们介绍了CNN的一些基本概念和lenet神经网络的架构,今天这一篇文章我们就模仿lenet网络去微调,使其符合mnist数据集的要求,并且达到我...

1424

扫码关注云+社区