pytorch基础知识-Cross Entropy（上）
pytorch基础知识-Cross Entropy（上）
用户6719124
发布于 2019-11-17 21:45:31
发布于 2019-11-17 21:45:31
Cross Entropy（交叉熵）也是同MSE一样，被用来处理Loss。
首先介绍entropy的概念，entropy中文称作熵，用来表达uncertainty（不确定性）和chaos（混乱度），是由克劳修斯(T.Clausius) 于1854年提出的。
一般将entropy的表达式定义为：
对于当前分布上的每一个i的取值，每一个i的probability与log下的probability的乘积。
我们以具体代码示例：
import torch
a1 = torch.full([4], 1/4)
print('a1:', a1)
a2 = a1*torch.log2(a1)
print('a2:', a2)
# 使用.sum()函数，代表求和
print('entropy_a:', -a2.sum())分别输出为
a1: tensor([0.2500, 0.2500, 0.2500, 0.2500])
a2: tensor([-0.5000, -0.5000, -0.5000, -0.5000])
entropy_a: tensor(2.)熵的结果为2，熵值越高，代表越稳定，没有“精细度”。
这里可看做是抽奖概率，4个奖的中奖概率均是25%，那么中奖的熵为2,。
这里假设再有四个奖项，中奖的的概率分别为0.1、0.1、0.1、0.7。那么此时求熵为
import torch
a1 = torch.tensor([0.1, 0.1, 0.1, 0.7])
print('a1:', a1)
a2 = a1*torch.log2(a1)
print('a2:', a2)
# 使用.sum()函数，代表求和
print('entropy_a:', -a2.sum())分别输出为
a1: tensor([0.1000, 0.1000, 0.1000, 0.7000])
a2: tensor([-0.3322, -0.3322, -0.3322, -0.3602])
entropy_a: tensor(1.3568)熵值缩减为1.3568，结果不稳定，此时中奖的“惊喜度”’提高。
此时若再将中奖率继续调整
三个奖项的中奖率极低，均为为0.001，而第四个奖项的中奖率极高为0.997。
import torch
a1 = torch.tensor([0.001, 0.001, 0.001, 0.997])
print('a1:', a1)
a2 = a1*torch.log2(a1)
print('a2:', a2)
# 使用.sum()函数，代表求和
print('entropy_a:', -a2.sum())此时输出为
a1: tensor([0.0010, 0.0010, 0.0010, 0.9970])
a2: tensor([-0.0100, -0.0100, -0.0100, -0.0043])
entropy_a: tensor(0.0342)计算出的熵值为0.0342，这时的“惊喜度”极高。
以上以三个直观的数据了解了熵的概念
下面介绍熵与交叉熵的区别：
首先从符号上，交叉熵用H(p, q)表示，熵用H(P)表示。
交叉熵的公式为；
本文参与 腾讯云自媒体分享计划，分享自微信公众号。
原始发表：2019-10-28，如有侵权请联系 cloudcommunity@tencent.com 删除
本文分享自 python pytorch AI机器学习实践 微信公众号，前往查看
如有侵权，请联系 cloudcommunity@tencent.com 删除。
本文参与 腾讯云自媒体分享计划 ，欢迎热爱写作的你一起参与！
评论
登录后参与评论
推荐阅读