信息论与逻辑回归代价函数

本公众号文章:第4节 认知过程与逻辑回归描述了逻辑回归的原理,并且从数学上推导了逻辑回归代价函数的公式,但为什么采用这个公式需要从信息论的角度去说明。

信息论研究的是信息的度量,存储和传输。由美国数学家密码学家香农在1948年提出。信息论在信号处理,数据压缩,机器学习等领域有广泛应用。

信息论的核心是的概念,它是一种对信息不确定性的度量。信息的不确定性越大,则熵越大。举个例子:投掷一个硬币,存在两种可能,这种情况下,最少可以用一个比特(1或 0)表示所有这些不确定性,则它的熵就是1。即,熵是对某个事物的所有可能性描述的最小信息长度。

而两种不同分布的事物相似度的描述可以用交叉熵表示。逻辑回归中,训练数据存在一个概率分布,我们将要优化的模型存在一个概率分布,我们希望这两个分布越接近越好,而交叉熵正是对两个概率分布差异性的度量。因此,就不难理解为什么逻辑回归中采用交叉熵作为代价函数。

要理解信息论的概念,需要具有概率分布,条件概率等基本的数学基础。如果没有这方面基础,理解起来很困难。我在网上发现一篇很好的文章,它从概率可视化的角度出发,从基本的概率分布和条件概率概念讲起,由浅入深,逐渐过渡到信息论和熵的概念。理解起来相对来说比较容易。

本文来自企鹅号 - AiAI工作室媒体

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏人工智能

浅谈神经机器翻译

发明计算机的最早目标之一就是自动将文本从一种语言翻译成另一种语言。

26580
来自专栏Vamei实验室

概率论08 随机变量的函数

作者:Vamei 出处:http://www.cnblogs.com/vamei 欢迎转载,也请保留这段声明。谢谢!

18020
来自专栏CDA数据分析师

机器学习基础与实践(一)——数据清洗

想写这个系列很久了,最近刚好项目结束了闲下来有点时间,于是决定把之前学过的东西做个总结。之前看过一些机器学习方面的书,每本书都各有侧重点,机器学习实战和集体智慧...

29370
来自专栏机器之心

业界 | 除了自然语言处理,你还可以用Word2Vec做什么?

38060
来自专栏AI科技评论

视频 | 论文最爱的变分自编码器( VAE),不了解一下?

AI 科技评论按:喜欢机器学习和人工智能,却发现埋头苦练枯燥乏味还杀时间?这里是,雷锋字幕组编译的 Arxiv Insights 专栏,从技术角度出发,带你轻松...

46470
来自专栏大数据文摘

揭秘自编码器,一种捕捉数据最重要特征的神经网络(视频+代码)

18370
来自专栏人工智能头条

深度学习和自然语言处理中的Attention和Memory机制

45650
来自专栏CreateAMind

变分自编码器(Variational Autoencoder, VAE)通俗教程,细节、基础、符号解释很齐全

现在有一个数据集DX(dataset, 也可以叫datapoints),每个数据也称为数据点。

14030
来自专栏云时之间

NLP系列学习:数据平滑

各位小伙伴们大家好,数据平滑这个地方我想使用宗成庆老师的书中的一个例子进行开始,从而引出这一篇文章的主题,我们为什么要需要数据平滑以及常用的数据平滑的模型,话不...

33170
来自专栏机器之心

专栏 | 阿里IJCAI 2017 Workshop论文:使用深度强化学习方法求解一类新型三维装箱问题

机器之心专栏 阿里菜鸟物流人工智能部 据机器之心了解,阿里巴巴有 11 篇论文入选如今正在墨尔本进行的 IJCAI 2017 大会,其中 6 篇来自阿里巴巴-浙...

1.1K60

扫码关注云+社区

领取腾讯云代金券