softmax交叉熵与最大似然估计

其实我们常用的 softmax 交叉熵损失函数,和 最大似然估计是等价的。

首先来看 softmax 交叉熵目标函数是什么样子的: 对于N个样本

j: 第 n 个样本属于 第 j 类, f 代表神经网络。

如果用最大似然估计呢?即:最大化已出现的样本的概率

最大化上式等价于最小化 负的上式,所以和 softmax 交叉熵是等价的。

所以,softmax 交叉熵也是想 最大化 已出现样本的概率。

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏alexqdjay

HashMap 多线程下死循环分析及JDK8修复

1.1K4
来自专栏拭心的安卓进阶之路

Java 集合深入理解(12):古老的 Vector

今天刮台风,躲屋里看看 Vector ! 都说 Vector 是线程安全的 ArrayList,今天来根据源码看看是不是这么相...

2547
来自专栏Hongten

ArrayList VS Vector(ArrayList和Vector的区别)_面试的时候经常出现

2242
来自专栏计算机视觉与深度学习基础

Leetcode 114 Flatten Binary Tree to Linked List

Given a binary tree, flatten it to a linked list in-place. For example, Given...

2098
来自专栏赵俊的Java专栏

从源码上分析 ArrayList

1211
来自专栏聊聊技术

原 初学图论-Kahn拓扑排序算法(Kah

2998
来自专栏Java Edge

AbstractList源码解析1 实现的方法2 两种内部迭代器3 两种内部类3 SubList 源码分析4 RandomAccessSubList 源码:AbstractList 作为 Lis

它实现了 List 的一些位置相关操作(比如 get,set,add,remove),是第一个实现随机访问方法的集合类,但不支持添加和替换

622
来自专栏项勇

笔记68 | 切换fragmengt的replace和add方法笔记

1524
来自专栏Java爬坑系列

【Java入门提高篇】Day21 容器类详解(四)ArrayList源码分析

   今天要介绍的是List接口中最常用的实现类——ArrayList,本篇的源码分析基于JDK8,如果有不一致的地方,可先切换到JDK8后再进行操作。

1746
来自专栏xingoo, 一个梦想做发明家的程序员

20120918-向量实现《数据结构与算法分析》

#include <iostream> #include <list> #include <string> #include <vector> #include...

1856

扫码关注云+社区