softmax交叉熵与最大似然估计

其实我们常用的 softmax 交叉熵损失函数,和 最大似然估计是等价的。

首先来看 softmax 交叉熵目标函数是什么样子的: 对于N个样本

j: 第 n 个样本属于 第 j 类, f 代表神经网络。

如果用最大似然估计呢?即:最大化已出现的样本的概率

最大化上式等价于最小化 负的上式,所以和 softmax 交叉熵是等价的。

所以,softmax 交叉熵也是想 最大化 已出现样本的概率。

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏李智的专栏

PRML笔记

其中,除以NN让我们能够以相同的基础对比不同大小的数据集,平方根确保了ERMSE_{RMS}与目标变量tt使用相同的规模和单位进行度量。

702
来自专栏企鹅号快讯

深入机器学习系列8-Gradient-boosted tree

梯度提升树 1 Boosting   是一类将弱学习器提升为强学习器的算法。这类算法的工作机制类似:先从初始训练集中训练出一个基学习器,再根据基学习器的表现对训...

1996
来自专栏机器学习算法原理与实践

决策树算法原理(上)

    决策树算法在机器学习中算是很经典的一个算法系列了。它既可以作为分类算法,也可以作为回归算法,同时也特别适合集成学习比如随机森林。本文就对决策树算法原理做...

713
来自专栏null的专栏

优化算法——梯度下降法

一、优化算法概述     优化算法所要求解的是一个问题的最优解或者近似最优解。现实生活中有很多的最优化问题,如最短路径问题,如组合优化问题等等,同样,也存在很多...

3406
来自专栏机器学习算法与Python学习

感知机详解

1.感知机是什么? 一种类型的ANN系统是以被称为感知器(perceptron)的单元为基础的,如图1所示。感知器以一个实数值向量作为输入,计算这些输入的线性组...

3317
来自专栏用户画像

逻辑回归

LR主要思想是: 根据现有数据对分类边界线(Decision Boundary)建立回归公式,以此进行分类。

542
来自专栏互联网大杂烩

K近邻(KNN)

kNN算法又称为k最近邻(k-nearest neighbor classification)分类算法。所谓的k最近邻,就是指最接近的k个邻居(数据),即每个样...

563
来自专栏专知

深入广义线性模型:分类和回归

【导读】本文来自AI科学家Semih Akbayrak的一篇博文,文章主要讨论了广义的线性模型,包括:监督学习中的分类和回归两类问题。虽然关于该类问题的介绍文章...

3786
来自专栏张俊红

EM算法

总第82篇 01|概念及原理: EM算法是一种迭代算法,用于含有隐变量的概率模型参数的极大似然估计,或极大后验概率估计。EM算法的每次迭代分两步完成:E步,求期...

2466
来自专栏机器学习与自然语言处理

信息量,熵,交叉熵,相对熵与代价函数

如果有⼈告诉我们⼀个相当不可能的事件发⽣了,我们收到的信息要多于我们被告知某个很可能发⽣的事件发⽣时收到的信息。如果我们知道某件事情⼀定会发⽣,那么我们就不会接...

807

扫码关注云+社区