从香农说起

我在大学上量子物理的时候,觉得这门课公式繁多,一度不愿意去学习。直到后来我看到近代量子物理的发展简史,才感受到其中的美妙。那是一种人文与科学的交织,我深深陶醉其中,也对量子物理兴趣大发。我觉得深度学习也是这样,我们应该了解公式背后的历史。跟随着那些有趣灵魂的脚步,才会明白是这一切将去往何方。

香农(1916年4月30日-2001年2月26日),美国数学家、电子工程师和密码学家,被誉为信息论的创始人。1948年,香农发表了划时代的论文——通信的数学原理,在这部著作中,他提出了比特数据,证明了信息是可以被量化的,并阐述了如何在保证准确率的前提下用数字编码对信息进行压缩和传输。

信息量和信息熵

我们都知道,物质、能量、信息是构成现实世界的三大要素。其中物质和能量的度量由物理学和化学中的牛顿定律、热力学定律和质能方程解释的很好了。唯独剩下信息,如何度量信息呢?

信息量

我们常说信息的多少,这其实就是一种粗略的度量。举个例子

  • 太阳从东方升起了——没有什么信息
  • 李彦宏被泼水了,还问了”what’s your problem”——信息量很大,开始吃瓜

为什么说第二个事情信息量大呢?本质上是因为第二个时间出现的概率低。由此我们把事件出现的概率和时间的信息关联起来了:事情的概率越低,事件的信息量越大

信息熵

凡是可能出错的事必定会出错————墨菲定律

这就话的意思是说生活中的事情总会朝着最坏的方向发展。生活不但不会自行解决问题,甚至还会逐渐变得更糟糕和复杂。这背后的原因就是:熵。

信息熵其实是信息量的期望。

二分类交叉熵

我们假设要训练一个拥有多个输入变量的神经元:输入

,权重

,偏置为

神经元的输出为

,这里

,我们定义这个神经元的交叉熵代价函数为:

这里

是训练数据的个数,这个加和覆盖了所有的训练输入

是期望输出。注意这里用于计算的

也是经过

激活的,取值范围在0到1之间。

当输出y为0的时候,上面的式子变为:

,图像如下。可以看出当神经网络的输出也为0的时候loss最小,趋向于1的时候loss变大。

当输出y为1的时候,上面的式子变为:

,图像如下。可以看出当神经网络的输出也为1的时候loss最小,趋向于0的时候loss变大。

多分类交叉熵

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 腾讯广告部门一面-自然语言处理方向

    在 EMLo 中,他们使用的是一个双向的 LSTM 语言模型,由一个前向和一个后向语言 模型构成,目标函数就是取这两个方向语言模型的最大似然。 前向部分

    故事尾音
  • DuReader,a Chinese Machine Reading Comprehension Dataset from Real-world Applications

    百度在2017年发布了大规模的中文MRC数据集:DuReader。相比以前的MRC数据集,DuReader有以下特点:

    故事尾音
  • nohup详解

    如果后台同时运行多个程序,它们的输出全都在nohup.out中,阅读起来很不方便。可通过重定向到不同文件中来解决这个问题;也可以通过在不同的文件下,运行nohu...

    故事尾音
  • SaltStack——小叙(远程执行)

    想要返回结果返回mysql 库中,返回是salt-minion 返回,所有的salt-minion 需要安装Mysql-python 依赖包:

    江小白
  • Spring MyBatis多数据源分包

    创建基本的entity service dao 不同的数据源创建不同的包 我这里为了分辨 一个用的是Mysql 一个是Oracle 方便测试,

    試毅-思伟
  • 线程

    https://www.cnblogs.com/wihainan/p/4765862.html

    大学里的混子
  • 【玩转腾讯云】五.手把手教你用VNC搭建Ubuntu可视化界面(一)

    ②选择自定义配置——计费模式为“按量付费”——地域选择“北京”——可用区选择“随机可用区”——网络选择“默认”即可

    一只特立独行的兔先生
  • 零基础利用腾讯云服务器搭建网站-服务器选购-环境一键配置

    地域可以随意的选择,操作系统选择centos,相对于Windows系统的话更加稳定,不会没有关系,这次是一点一点的教大家

    勤劳的小蜜蜂
  • 【玩转腾讯云】三.云端轻松构建部署WordPress网站应用

    ②选择自定义配置——计费模式为“按量付费”——地域选择“北京”——可用区选择“随机可用区”——网络选择“默认”即可

    一只特立独行的兔先生
  • 四个类搞定分层自动化测试框架

    我们刚开始做自动化测试,可能写的代码都是基于原生写的代码,看起来特别不美观,而且感觉特别生硬。

    软件测试君

扫码关注云+社区

领取腾讯云代金券