开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

社区首页 >专栏 >交叉熵损失函数及其与熵和KL散度的关系

交叉熵损失函数及其与熵和KL散度的关系

作者头像

Steve Wang

发布于 2023-10-12 09:33:04

2650

发布于 2023-10-12 09:33:04

举报

文章被收录于专栏：从流域到海域

Cross Entropy Error Function

二分类

L = \frac{1}{N}\sum_iL_i = \frac{1}{N}\sum_i-[y_ilog(p_i)]+(1-y_i)log(1-log(p_i))]

多分类

L=\frac{1}{N}\sum_iL_i=\frac{1}{N}\sum_i -\sum_{c=1}^m y_{ic} log(p_{ic})

交叉熵损失函数及其与熵和KL散度的关系

最小化交叉熵等价于最小化KL散度等价于最大化对数似然估计。

本文参与腾讯云自媒体同步曝光计划，分享自作者个人站点/博客。

原始发表：2023-03-18，如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自作者个人站点/博客前往查看

如有侵权，请联系 cloudcommunity@tencent.com 删除。

本文参与腾讯云自媒体同步曝光计划，欢迎热爱写作的你一起参与！

评论

登录后参与评论

0 条评论

热度

最新

LV.

目录

Cross Entropy Error Function
- 二分类
- 多分类
交叉熵损失函数及其与熵和KL散度的关系