交叉熵——我们如何评估差异

前言

机器学习的本质是信息论。在信息论中,首先我们引入了信息熵的概念。认为一切信息都是一个概率分布。所谓信息熵,就是这段信息的不确定性,即是信息量。如果一段信息,我无论怎么解读都正确,就没有信息量。如果一个信息,我正确解读的概率极低,就包含了极大信息量。这个信息量即是一段信息的不确定性即是“信息熵”。

信息熵

事件的概率分布和每个事件的信息量构成了一个随机变量,这个随机变量的均值(即期望)就是这个分布产生的信息量的平均值(即熵)

举个例子:

在某音乐APP中,当用户听歌时,遇到喜欢的歌可能会点喜欢按钮。但我们并不能保证用户100%是因为喜欢这首歌才点喜欢按钮的。

那么,用户点击喜欢这件事,到底给我们带来了多少信息呢?

我们对用户的心理作如下假设:1/2是真的喜欢,1/4是随便点的,1/4不喜欢

image.png

此时,用户点击了喜欢,如果让一个程序员来猜测,用户的真实想法。他总共需要猜多少次呢?

在这样的情况下,程序员会先猜,用户是不是真的喜欢?有1/2的概率直接就猜对了,一次成功。也有1/2的概率不成功,那么有1/4的概率,再猜一次,能猜中用户是随便点的,另外1/4的概率再猜一次,确认用户不喜欢。

image.png

猜完两次,这个信息就是100%确定的啦。我们对猜测次数的期望做一下计算,它就是这个概率分布的信息熵。

信息熵为:

1/2 1 + 1/4 2 + 1/4 * 2 = 1.5

先猜是不是喜欢,再猜是不是随便点的。1/2概率一次猜中真的喜欢,1/4的概率两次猜中随便点的,1/4的概率两次猜中不喜欢。

仔细想想,机器学习是不是就是在做着这个猜测的工作?

交叉熵

有了信息熵,就会有新的问题。那么,一段信息的概率分布是A。而我用概率分布B去计算信息熵时,即是交叉熵。交叉熵,一定大于信息熵,可以理解为信息熵是交叉熵的理想情况。

在上面的例子中,1/2是真的喜欢,1/4是随便点的,1/4不喜欢如果只是我们认为的概率分布是:

实际上用户的真实想法是:1/4是真的喜欢,1/2是随便点的,1/4不喜欢

image.png

会发生什么呢?

我们会进行错误的验证流程:

image.png

我们的猜测次数的期望会变成:

1/2 2 + 1/4 1 + 1/4 * 2 = 1.75

这个数字高于了我们前面计算的1.5。因为我们对用户的想法有了错误的判断。

高于信息熵了,说明我心中的概率分布是错误的。

交叉熵的意义在于,用这样一套模型来表示,我心中的概率分布与实际的概率分布相差有多远。用这样的一个量,来定义我预估事情的错误程度(loss)。

它的定义为:

其中y'是真实概率。y是我们计算的概率。

应用

在多元分类问题中,交叉熵常被用作,损失函数。比如在mnist问题中,我们的真实概率其实只有0和1。

假设,手写的数字为1。

那么我们的真实概率分布应为0, 1, 0, 0, 0, 0, 0, 0, 0, 0

而我们的预测概率分布可能为0.05, 0.55, 0.05, 0.05, 0.05, 0.05, 0.05, 0.05, 0.05, 0.05

此时,交叉熵即为

-1 * log(0.55)

如果我们的预测概率分布与真实概率分布一致,那么交叉熵应为:

1 * log(1) = 0

符合预期。

因此,我们即可以用交叉熵的大小,来估评我们预测的不准确度。

tensorflow中,交叉熵的计算为:

cross_entropy = -tf.reduce_sum(y_*tf.log(y))

以上就是交叉熵的基本介绍,如有问题,欢迎指正。

原创声明,本文系作者授权云+社区发表,未经许可,不得转载。

如有侵权,请联系 yunjia_community@tencent.com 删除。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏成长道路

JDBC动态SQL语句连接orcale数据库的工具类

import java.sql.Connection; import java.sql.DriverManager; import java.sql.P...

2450
来自专栏飞扬的花生

日志帮助类

 1.代码 using System; using System.Collections.Generic; using System.Linq; using S...

1909
来自专栏james大数据架构

C#日期格式转换

DateTime dt = DateTime.Now; // Label1.Text = dt.ToString();//2005-11-5 13:21:25 ...

1895
来自专栏阿炬.NET

c# datetime 格式化

2836
来自专栏闻道于事

商城项目整理(三)JDBC增删改查

商品表的增加,修改,删除,订单表的增加,确认,用户表的查看,日志表的增加,查看 商品表建表语句: 1 create table TEST.GOODS_TABL...

5435
来自专栏互联网开发者交流社区

WinForm之窗体应用程序

1833
来自专栏海说

Java应用中常见的JDBC连接字符串(SQLite、MySQL、Oracle、Sybase、SQLServer、DB2)

Java应用中常见的JDBC连接字符串 Java应用中连接数据库是不可或缺的,于是便整理一些可能用到的JDBC的jar包及其相匹配的URL,以备日后查阅。 1)...

2710
来自专栏c#开发者

C# : row-clickable GridView and get and set gridview rows using JavaScript

Complete C# code: ---------------- using System; using System.ComponentModel; ...

2986
来自专栏跟着阿笨一起玩NET

GB2312转换成UTF-8与utf_8转换成GB2312

1801
来自专栏积累沉淀

Hive2.0.0操作HBase 1.2.1报错解决

首先看错  org.apache.hive.service.cli.HiveSQLException: Failed to open new session: ...

2329

扫码关注云+社区