交叉熵——我们如何评估差异

前言

机器学习的本质是信息论。在信息论中,首先我们引入了信息熵的概念。认为一切信息都是一个概率分布。所谓信息熵,就是这段信息的不确定性,即是信息量。如果一段信息,我无论怎么解读都正确,就没有信息量。如果一个信息,我正确解读的概率极低,就包含了极大信息量。这个信息量即是一段信息的不确定性即是“信息熵”。

信息熵

事件的概率分布和每个事件的信息量构成了一个随机变量,这个随机变量的均值(即期望)就是这个分布产生的信息量的平均值(即熵)

举个例子:

在某音乐APP中,当用户听歌时,遇到喜欢的歌可能会点喜欢按钮。但我们并不能保证用户100%是因为喜欢这首歌才点喜欢按钮的。

那么,用户点击喜欢这件事,到底给我们带来了多少信息呢?

我们对用户的心理作如下假设:1/2是真的喜欢,1/4是随便点的,1/4不喜欢

image.png

此时,用户点击了喜欢,如果让一个程序员来猜测,用户的真实想法。他总共需要猜多少次呢?

在这样的情况下,程序员会先猜,用户是不是真的喜欢?有1/2的概率直接就猜对了,一次成功。也有1/2的概率不成功,那么有1/4的概率,再猜一次,能猜中用户是随便点的,另外1/4的概率再猜一次,确认用户不喜欢。

image.png

猜完两次,这个信息就是100%确定的啦。我们对猜测次数的期望做一下计算,它就是这个概率分布的信息熵。

信息熵为:

1/2 1 + 1/4 2 + 1/4 * 2 = 1.5

先猜是不是喜欢,再猜是不是随便点的。1/2概率一次猜中真的喜欢,1/4的概率两次猜中随便点的,1/4的概率两次猜中不喜欢。

仔细想想,机器学习是不是就是在做着这个猜测的工作?

交叉熵

有了信息熵,就会有新的问题。那么,一段信息的概率分布是A。而我用概率分布B去计算信息熵时,即是交叉熵。交叉熵,一定大于信息熵,可以理解为信息熵是交叉熵的理想情况。

在上面的例子中,1/2是真的喜欢,1/4是随便点的,1/4不喜欢如果只是我们认为的概率分布是:

实际上用户的真实想法是:1/4是真的喜欢,1/2是随便点的,1/4不喜欢

image.png

会发生什么呢?

我们会进行错误的验证流程:

image.png

我们的猜测次数的期望会变成:

1/2 2 + 1/4 1 + 1/4 * 2 = 1.75

这个数字高于了我们前面计算的1.5。因为我们对用户的想法有了错误的判断。

高于信息熵了,说明我心中的概率分布是错误的。

交叉熵的意义在于,用这样一套模型来表示,我心中的概率分布与实际的概率分布相差有多远。用这样的一个量,来定义我预估事情的错误程度(loss)。

它的定义为:

其中y'是真实概率。y是我们计算的概率。

应用

在多元分类问题中,交叉熵常被用作,损失函数。比如在mnist问题中,我们的真实概率其实只有0和1。

假设,手写的数字为1。

那么我们的真实概率分布应为0, 1, 0, 0, 0, 0, 0, 0, 0, 0

而我们的预测概率分布可能为0.05, 0.55, 0.05, 0.05, 0.05, 0.05, 0.05, 0.05, 0.05, 0.05

此时,交叉熵即为

-1 * log(0.55)

如果我们的预测概率分布与真实概率分布一致,那么交叉熵应为:

1 * log(1) = 0

符合预期。

因此,我们即可以用交叉熵的大小,来估评我们预测的不准确度。

tensorflow中,交叉熵的计算为:

cross_entropy = -tf.reduce_sum(y_*tf.log(y))

以上就是交叉熵的基本介绍,如有问题,欢迎指正。

原创声明,本文系作者授权云+社区发表,未经许可,不得转载。

如有侵权,请联系 yunjia_community@tencent.com 删除。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏小小挖掘机

推荐系统遇上深度学习(十五)--强化学习在京东推荐中的探索

强化学习在各个公司的推荐系统中已经有过探索,包括阿里、京东等。之前在美团做过的一个引导语推荐项目,背后也是基于强化学习算法。本文,我们先来看一下强化学习是如何在...

2424
来自专栏AI科技评论

学界 | Moments in Time:IBM-MIT联合提出最新百万规模视频动作理解数据集

AI 科技评论按:本文为上海交通大学林天威为 AI 科技评论撰写的独家稿件,未经许可请勿转载。 在过去一年中,视频理解相关的领域涌现了大量的新模型、新方法,与之...

3577
来自专栏大数据文摘

深度特征合成:自动化特征工程的运作机制

将机器学习的方法推广到新问题仍然存在着不小的挑战,其中最严峻的问题之一,就是人工提取特征的复杂性和高时间耗费性,本文就将带你了解自动化特征提取方法。

985
来自专栏数据科学与人工智能

【陆勤阅读】数据科学

“用数据来研究科学,科学的研究数据” “数据科学将逐渐达到与其他自然科学分庭抗礼的地位” ——作者 数据科学主要包括两个方面:用数据的方法来研究科学和用科...

21410
来自专栏人工智能头条

Yann LeCun:CNN已解决CIFAR-10,目标 ImageNet

2066
来自专栏专知

【NLP专题】斯坦福CS224n课程笔记01:自然语言处理与深度学习简介

1.3K2
来自专栏AI科技评论

自然语言的理解和连续表达 | 微软演讲PPT终章

微软研究院在IJCAI2016的Tutorial上讲述了自己将深度学习、深度神经网络应用于不同场景的情况,之前第二部分提到了深度学习在统计机器翻译和会话中的应用...

3126
来自专栏Spark学习技巧

干货 :基于用户画像的聚类分析

3795
来自专栏随心DevOps

如何量化并行效率?阿姆达尔来帮你

今天在《代码的未来》这本书中看到一个定律,叫:阿姆达尔定律,原来并行效率可以量化的这么漂亮,它叫 加速比,简单的讲就是提升效率的倍数,很简单就一个公式: ? 看...

2795
来自专栏ATYUN订阅号

六本机器学习相关的免费英文电子书

机器学习是数据科学和人工智能的一个子领域,它关注计算机程序的开发,这些计算机程序可以访问数据并使用它来自己学习,从而使它们在预测结果时变得更加准确,而无需明确编...

983

扫码关注云+社区