机器学习与网络安全（四）概率学基础

计算机科学所处理的内容大部分是完全确定且必然的，程序员写程序时是假定CPU将完美执行每条指令，硬件错误是非常罕见并在编程阶段几乎不予考虑。

深度学习通常是处理一些不确定的随机的量，像我们初始化的时候，经常会把权值初始化为随机值，有的实验中是这样做的。

但机器学习中几乎处处都会使用概率，例如：

• 评估一种疾病的爆发率
• 预测货币交易在某一时间点的市值
• 理解一句话中每个词语间的关联含义（自然语言像智能翻译）
• 判断一个交通标志是否是限速（自动驾驶）
• 判断一封邮件是否为垃圾邮件（朴素贝叶斯）
• 针对同类的病人研究其相近的DNA端的序列段
• 生成与现实中相近的包与鞋子的搭配

几乎所有的活动都需要在不确定性存在时进行推理，除了那些被定义为真的数学声明，我们很难认定某个命题是千真万确的或者确保某一件是一定会发生。

不确定性有三种可能来源：

1、被建模系统内在它存在一种随机性，比如纸牌游戏，开局时我们都是假设纸牌被洗为随机序列；

2、不完全观测，例如砸金蛋的游戏，设置金蛋的人可以知道哪个金蛋里有大奖，但砸金蛋人的角度大奖的概率是不确定的；

3、不完全建模，例如三个杯子里一个硬币的游戏，将一个硬币放在中间的杯子中，然后随意转换杯子的相互位置，如果不允许观察转换过程，则无法良好预测硬币最后在哪边的杯子中。

比如说简单的原则，多数鸟都会飞，这个描述就很简单，而正式的规则是除了那些非常小的还没有学会飞翔的幼鸟，以及因为生病或者受伤失去了飞翔能力的鸟，还有不会飞的鸟类包括石花鸟鸵鸟等等，所以还是多数鸟儿都会飞这样的定义会比较好用。

概率论最初的发展是为了分析事件发生的频率，所以说我们很容易可以看出概率论,就像是在打扑克的时候抽出一手特定的牌这种事件的研究中是如何使用的，这类事件往往是可以重复的，我们用概率只是表示一种信任度。

基本概念

1、确定性现象，也可以称为确定性事件，一定条件下必然发生的事情，比如说你用手来开一个开门，那么门就开了，这就是一个确定性事件。

2、随机性现象，在一定条件下可能出现不同的结果。试验前不可预知，大量重复实验具有统计规律性。

随机实验

一些随机事件

一枚硬币，观察正反面的出现情况，抛一次再抛三次，观察正反面的出现情况；一枚硬币抛三次观察正面出现的次数；抛一枚色子，观察出现的点数，它都是可以反复进行的。

样本空间与随机事件

事件与关系运算

事件A它的概率比事件B小，然后它是属于B的，也就是说当A如果发生了，我们可以认为B就发生了，但是当B发生了，我们不能认为就是说A发生了。

事件运算定律

交换律。大家看一下这些，基本上以前都学过交换律，结合律分配律，德摩根律。那么这里就有一个作业，就是找一个合适的实验实验来确定一下样本空间，在这个实验里找三个事件abc，然后进行上面的运算，自己尝试一下。

独立性

事件A与B独立的条件，AB同时发生的概率和A单独发生以及B单独发生的概率是一样的。

指数分布

拉普拉斯分布

允许在任意一点μ处设置概率质量的峰值

拉普拉斯平滑算法这个概念最初是用来判断太阳第二天还能不能升起来。跟贝叶斯有点像，太阳能升起来的概率平常是100%，如果明天有意外世界毁灭、发生核战争，这种也是事件都要添加进去，第一个事件是太阳正常升起，第二个事件是其他，小概率事件也要不断的去推算。

经验分布

经验分布是将概率密度1/m赋给m个点中的每一个，这些点是给定的数据集合或采样的集合。

分布的混合

常用函数有用性质

1、logistics sigmoid 函数

2、softplus函数

内容来自安全牛课堂《机器学习与网络安全》