15 Probability 15.1 离散和连续随机变量的区别 离散随机变量的概率是一个positive finite number 连续随机变量的概率是一个range，单一点的概率是zero 15.2...和mutually exclusive event 独立事件的概率不受其他事件的影响 互斥事件的交集概率为0 15.5 根据matrix计算交集概率 独立事件 P(AB)=P(A)*P(B) 互斥事件...N 方差是平方的期望减去期望的平方 16.3 解释和计算离散随机变量的期望 期望是每个点乘以概率加和 16.4 计算和解释两个随机变量的协方差和相关性 协方差公式 ?...根据样本均值和总体标准差构建的Z分布，得出： 我们有1-的概率相信，总体均值将会落入这个置信区间 Normal with unknown Variance，使用样本方差，求总体均值的置信区间 ?...先用univariate标准正态分布随机生成两个独立变量 ?
但实际中也常常用到不确定的算法，比如随机数生成算法，算法的结果是不确定的，我们称这种算法为（随机）概率算法，分为如下四类： 1、数值概率算法 用于数值问题的求解，通常是近似解 2、蒙特卡洛算法Monte...方法：产生随机序列 d称为种子；m取值越大越好；m，b互质，常取b为质数； 案例 伪随机数 在实际编程中，我们使用rand()函数来产生随机数，rand()函数返回0到一个最大值之间的一个随机数。...随机投点法计算π 如下图，正方形及其内切圆，圆半径为r。现向正方形中随机投n个点，所投点均匀分布，则点落入圆内概率为。...：设计随机算法，使得算法的性能和具体的输入值无关，算法的性能 =平均性能 + 一个很小的随机值。...【理解为：不断掷骰子，直到得到某个值，或掷累了】 如下面的代码： success=false;steps=; while(!
S(i)，作为根节点的样本，从根节点开始训练 (3)如果当前节点上达到终止条件，则设置当前节点为叶子节点，如果是分类问题，该叶子节点的预测输出为当前节点样本集合中数量最多的那一类c(j)，概率p为c(j...(2)重复执行(1)直到所有t棵树都输出了预测值。如果是分类问题，则输出为所有树中预测概率总和最大的那一个类，即对每个c(j)的p进行累计；如果是回归问题，则输出为所有树的输出的平均值。...Random Forest与Bagging的区别在于：Bagging每次生成决策树的时候从全部的属性Attributes里面选择，而Random Forest是随机从全部Attributes的集合里面生成一个大小固定的子集...(1) 没有先验知识的情况下,初始的分布应为等概分布,也就是训练集如果有 n个样本,每个样本的分布概率为1/ n。...,赋予较大的分布权值( Di 为第i 轮各个样本在样本集中参与训练的概率) ,使其在这一轮训练出现的概率增加,即在后面的训练学习中集中对比较难训练的样本进行学习,从而得到 T个弱的基分类器, h1 ,
纯文字描述有点绕口，形式化的描述如下： 若k个随机变量Z1，Z2，……，Zk满足：1）相互独立，并且 2）都符合标准正态分布的随机变量（数学期望为0、方差为1）；则这k个随机变量的平方和X （计算公式如下...下图就是卡方分布在自由度为1-5情况下的概率密度函数和累计函数： ? 假设检验：是一种检验统计假设的方法，一般通过观察一组随机变量来完成。...这里提到的置信区间指：包含样本统计量取值的随机区间。 当显著性水平为5%时，置信度则为 1 - 5% = 95%。 ”置信度为95%”表明：有95%的概率可以确定置信区间包含所有样本。...在零假设下推导检验统计量的分布 此处先要说明背景： 总体样本X一共可以被分为k个互斥的分类，其中某个样本落入到第i个类的概率为pi。...我们从总体样本中随机采样n个样本，把这n个样本中落入第i个类的理论预期个数记作mi，mi = n * pi。因此：n = m1+m2+...
概念解释 PDF：概率密度函数（probability density function）, 在数学中，连续型随机变量的概率密度函数（在不至于混淆时可以简称为密度函数）是一个描述这个随机变量的输出值，在某个确定的取值点附近的可能性的函数...数学表示 PDF：如果XX是连续型随机变量，定义概率密度函数为fX(x)fX(x)f_X(x)，用PDF在某一区间上的积分来刻画随机变量落在这个区间中的概率，即 Pr(a≤X≤b)=∫bafX(x)dxPr...； ２）PDF的取值本身不是概率，它是一种趋势（密度）只有对连续随机变量的取值进行积分后才是概率，也就是说对于连续值确定它在某一点的概率是没有意义的； ３）PMF的取值本身代表该值的概率...，用积分来求随机变量落入某个区间的概率。...另外，在现实生活中，有时候人们感兴趣的是随机变量落入某个范围内的概率是多少，如掷骰子的数小于3点的获胜，那么考虑随机变量落入某个区间的概率就变得有现实意义了，因此引入分布函数很有必要。 2.
高斯混合模型是一个假设所有的数据点都是生成于一个混合的有限数量的并且未知参数的高斯分布的概率模型。...首先，假设一个随机分量 （随机地选择一个中心点，可以用k-means算法得到，或者甚至就直接地随便在原点周围选取）， 并且为每个点计算由模型的每个分量生成的概率。...每次，我们把每个stick的长度关联到落入一组混合的点的比例。 最后，为了表示无限混合，我们关联最后每个stick的剩下的部分到没有落入其他组的点的比例。...每段的长度是随机变量，概率与浓度参数（concentration parameter）成比例。较小的浓度值 将单位长度分成较大的stick段（即定义更集中的分布）。...较高的浓度值将生成更小的stick段 （即增加非零权重的分量数）。 Dirichlet过程的变分推理技术，在对该无限混合模型进行有限近似情形下，仍然可以运用。
这个分数反映这个框包含物体的概率 Pr(Object) 以及预测框的位置准确性 IOU，所以置信分数也由这两部分定义； ③每个 bounding box 都要包含 5 个预测值，x, y, w, h,...，当然这些概率以包含对象的网格单元为条件）。...网络损失不具体：无论边界框的大小都用损失函数近似为检测性能，物体 IOU 误差和小物体 IOU 误差对网络训练中 loss 贡献值接近，但对于大边界框来说，小损失影响不大，对于小边界框，小错误对 IOU...很多分类方法都用一个 softmax layer ，但它的前提是假设所有类互斥，但我们的数据集类别是不都是互斥的（有可能是包含关系，例如狗和金毛犬），所以我们使用了一个多标签模型来组合数据集（无互斥的要求...通过改造图，最后得到一个 WordTree，这样每个节点/标签都有自己的概率，解决了类别之间不互斥的问题，就能在检测集和分类集上联合训练。
接概率论整理 连续型随机变量概率密度函数 小王和老婆小白饭后又换了一个新游戏玩法来决定谁洗盘子，小王在电脑中写了一个小程序Math.random()来产生[0,1]的随机数，让老婆小白进行摇号，如果摇号值在...我们设事件A为小白摇号的值落入[0,0.5]，则A的概率P(A)=A长度/E长度=(0.5-0)/(1-0)=1/2 现在我们将该题进行拓展，我们设事件B为让值落入[a,b] ?...则P(B)=(b-a)/(1-0)=b-a (0≤a<b≤1) 我们设事件C表示值为X0,发生的概率为多少？ ?...而整个式子就是[a,b]区间的概率。 连续型随机变量的概率密度 连续型随机变量的分布函数: ? ，(这里f(x)称为该随机变量的概率密度函数) 概率与概率密度关系 ? ?...) 与F(x)的对应关系 分布律pkF(x) 概率密度f(x)F(x) 例：设随机变量X具有概率密度 ?
这些hash function需要满足以下两个条件： 1）如果d(x,y) ≤ d1， 则h(x) = h(y)的概率至少为p1； 2）如果d(x,y) ≥ d2， 则h(x) = h(y)的概率至多为...sensitive： 1）如果d(x,y) ≤ d1， 则h(x) = h(y)的概率至少为p1； 2）如果d(x,y) ≥ d2， 则h(x) = h(y)的概率至多为p2； d(x...理解：利用随机的超平面（random hyperplane）将原始数据空间进行划分，每一个数据被投影后会落入超平面的某一侧，经过多个随机的超平面划分后，原始空间被划分为了很多cell，而位于每个cell...Euclidean distance对应的LSH hash function为：H(V) = |V·R + b| / a，R是一个随机向量，a是桶宽，b是一个在[0,a]之间均匀分布的随机变量。...随机投影 假设通过k个LSH hash function得到了k个hash值：h1, h2…, hk。
为了增强 Transformer 模型的外推能力，研究人员要么通过随机位移将位移不变性融入正弦 APE 中，要么生成随位置平滑变化的位置嵌入并期望模型能够学会推断这一变化函数。...位置插值方法 位置插值方法通过在推理时对位置编码进行缩放，使得原本超出模型训练长度的位置编码在插值后落入已训练位置区间。由于其卓越的外推性能和极低的开销，位置插值方法引起了研究界的广泛兴趣。...然而，目前的插值方法仅仅关注 RoPE，如何通过插值使采用其他 PE 的 LLM 具备更好的外推能力仍需探索。...值得注意的是，随机化 PE 的思想与位置插值方法有很大不同，前者旨在使模型在训练过程中观察到所有可能的位置，而后者试图在推理过程中对位置进行插值，使它们落入既定的位置范围内。...出于同样的原因，位置插值方法大多是即插即用的，而随机化 PE 通常需要进一步微调，这使得位置插值更具吸引力。然而，这两类方法并不互斥，因此可以结合它们来进一步增强模型的外推能力。
2.5 流量正交&正交实验 可见文章[11]，本篇火山引擎的文档，描述的蛮清晰。 互斥组=互斥层=实验层 每个独立实验为一层，一份流量穿越每层实验时，都会随机打散再重组，保证每层流量数量相同。...统计学根据显著性检验方法所得到的 P 值，一般以 P 为有统计学差异， P为有显著统计学差异，P为有极其显著的统计学差异。...其含义是样本间的差异由抽样误差所致的概率小于 0.05 、0.01 、0.001 。 实际上，P 值不能赋予数据任何重要性，只能说明某事件发生的几率。...这也是滴滴诸多实验中占比最大的分组方式。随机分组的做法可以实现为对实验对象的某个ID字段进行哈希后对100取模，根据结果值进入不同的桶，多个不同的组分别占有一定比例的桶。...实验对象在哈希取模之后，会得到0 ~ 99的一个数，即为该实验对象落入的桶。这个桶所属的组就是该实验对象的组。 弊端： 进行一次CR，能将一批实验对象分成对应比例的组。
例如，一个人的身高或体重就是连续随机变量，因为它们可以取无限多个值。 1.3.2 离散随机变量 离散随机变量的取值是可数的，通常可以列举出来。...定义： 对于离散随机变量 X ，其PMF定义为： P(X = x) = p(x) 其中， p(x) 是随机变量 X 取值为 x 的概率。...PDF import numpy as np import matplotlib.pyplot as plt # 定义均值和标准差 mu, sigma = 0, 1 # 生成x值 x = np.linspace...Python代码示例： import numpy as np import matplotlib.pyplot as plt # 定义均值和标准差 mu, sigma = 70, 10 # 生成x值...在接下来的章节中，我们将进一步探讨如何将这些理论应用于实际的机器学习算法，如分类与回归模型中，如何通过合适的概率模型提升算法的表现。
比如，在二分类中，当负样本占比 99 %时，如果模型把所有样本都预测为负样本也能获得 99% 的准确率。虽然准确率看起来很高，但是其实这个模型时没有用，因为它找不出一个正样本。...F1值/Fα值 一般来说，精确率和召回率是互斥的，也就是说精确率高的话，召回率会变低；召回率高的话，精确率会变低。所以设计了一个同时考虑精确率和召回率的指标 F1值。...我们将模型对所有样本的预测值（属于正类的概率值）降序排列，然后依次将预测的概率值作为阈值，每次得到该阈值下模型预测结果为正类、负类的样本数，然后生成一组 (FPR, TPR) 值，这样就可以得到ROC曲线上的一点...如何理解AUC的作用呢？随机挑选一个正样本（P）和负样本（N），模型对这两个样本进行预测得到每个样本属于正类的概率值，根据概率值对样本进行排序后，正样本排在负样本前面的概率就是AUC值。...其中，rank为将模型对样本预测后的概率值从小到大排序后的正样本的序号（排序从1开始），|P|为正样本数，|N|为负样本数。
如果数据量小，或者不太在意哈希碰撞的频率，甚至可以选择生成哈希值小的哈希算法，占用更小的空间。...MurMurHash3 生成 32 位哈希的用时比生成 128 位哈希的用时要长。原因在于生成 128 位哈希的实现受益于现代处理器的特性。...将哈希空间 n 等分, 得到 p个 哈希值, 那么平均落入每个哈希子空间的哈希值是 _0= p /n, 落入第 i个子空间的哈希值个数是_ 。统计量 x^2表示_到均匀分布的偏离度。...(初始哈希值是一个随机数)。...Google 希望为速度而不是为了简单而优化，因此没有照顾较短输入的特例 。
例如，骰子 1 可能落在骰子 1 或 2 上，而我们将其误认为是骰子 2；但发生这种情况的可能性较小。我们将在下一节中学习如何计算错误概率。我们如何确定决策边界？...它们的比率告诉我们，对于不同的观察，一个假设比另一个假设正确的可能性有多大。这个比率称为似然比，用 L(X) 表示。 L(X) 是依赖于观察值 x 的随机变量。...因此，这就是我们绘制决策边界的方法：我们将似然比大于临界比的观察值与似然比大于临界值的观察值分开。所以形式为 {x | L(x) > } 落入拒绝域，其余落入接受域。让我们用我们的骰子例子来说明它。...此错误的概率由下式表示并且可以计算为：False Acceptance Error: = P(X|L(X) 的示例中，错误拒绝和错误接受错误可以计算为：Computing errors...换句话说，对于给定的错误拒绝概率，似然比检验提供了最小可能的错误接受概率。4. 连续分布在上面的例子中，我们没有讨论如何选择临界比的值。概率分布是离散的，因此临界比率的微小变化不会影响边界。
看看假设检验在哪里 推断统计学，或称统计推断（英语：Statistical inference），指统计学中，研究如何根据样本数据去推断总体数量特征的方法。...它是在对样本数据进行描述的基础上，对统计总体的未知数量特征做出以概率形式表述的推断。更概括地说，是在一段有限的时间内，通过对一个随机过程的观察来进行推断的。 统计学中，统计推断与描述统计相对应。...选择0.05是因为费希尔觉得它足够小，如果实验结果落入此区域，那么说明小概率事件发生了，所以拒绝原假设。费希尔把此处选择的0.05称为显著性水平。...小概率事件说的是： 小概率事情发生的时候，我们只能说“有把握”或是有95%的把握拒绝原假设H0（就是更加详细了） 上面的显著性的值也没有那么死，就是你可以自己选定显著性水平 猜对一个和九个，我们都说她有这个分辨的本事...此时选择 A 的概率为 0.5 最后做实验，如果落入拒绝域就拒绝原假设H0（0杯和9杯），也就是拒绝了不具备分辨能力。 你想，什么情况下可以做到这样？一种就是你都能找到，那就是9杯。
决策树的一条路径对应于划分中的一个单元。决策树所表示的条件概率分布由各个单元给定条件下类的条件概率分布组成。设X为表示特征的随机变量，Y为表示类的随机变量，则条件概率分布表示为P(Y|X)。...设X是一个取有限个值的离散随机变量，概率分布为 P(X = xi) = pi, i = 1,2,...n 则随机变量X的熵定义为 ?...信息增益比 当训练数据集的经验熵大的时候，信息增益值偏大，反之偏小，使用信息增益比校正。 ? 基尼指数 CART中生成分类树中使用，用基尼指数选择最优特征，同时决定该特征的最优二值且分点。 ? ?...过拟合的原因在于学习时过多的考虑如何提高对训练数据的正确分类，从而构建出过于复杂的决策树，解决方法是考虑决策树的复杂度，对已生成的树进行简化，成为剪枝（pruning），具体指从生成的树上裁掉一些子树或叶结点...回归树生成 一个回归树对应输入空间（即特征空间）的一个划分以及在划分的单元上的输出值，假设已将输入空间划分为M个单元，R1，...RM，并在每个单元RM上有一个固定的输出值Cm，则回归树模型可表示为
因为我们是从一个公平的骰子中生成的数据，我们知道每个结果都有真实的概率 \frac{1}{6} ，大约是 0.167 ，所以上面输出的估计值看起来不错。 ...我们也可以看到这些概率如何随着时间的推移收敛到真实概率。让我们进行500组实验，每组抽取10个样本。...P(\mathcal{A}) \geq 0 ； 整个样本空间的概率为 1 ，即 P(\mathcal{S}) = 1 ； 对于互斥（mutually exclusive）事件（对于所有 i \neq...为了简化符号，一方面，我们可以将 P(X) 表示为随机变量 X 上的分布（distribution）：分布告诉我们 X 获得某一值的概率；另一方面，我们可以简单用 P(a) 表示随机变量取值 a 的概率...， f(x) 的期望值为 E_{x \sim P}[f(x)] = \sum_x f(x) P(x)\tag{10} 在许多情况下，我们希望衡量随机变量 X 与其期望值的偏置。
当然举这个例子并不是非常的恰当，因为样本太少了，此处举例只为说明正交的意义。 正交实验：每个独立实验为一层，层与层之间流量是正交的，一份流量穿越每层实验时，都会再次随机打散，且随机效果离散。...2) 互斥，如何理解互斥？ 例如：我们有 100 个兵乓球，每 25 个为一组，分别染成蓝、白、橘、绿。...若 X 实验拿的是蓝色、白色则 Y 实验只能拿橘色和绿色，我们说 X 实验的和 Y 实验是互斥的。 互斥实验：实验在同一层拆分流量，且不论如何拆分，不同组的流量是不重叠的。...统计学根据显著性检验方法所得到的 P 值，一般以 P 为有统计学差异， P为有显著统计学差异，P为有极其显著的统计学差异。...其 Z 值计算公式为： Z=（X-μ)/S/n的平方根 若 Z 值大于临界值，则认为为二者有差异，否则认为没差异。 注：事实上由于总体参数标准差未知，因此一般使用 T 检验。
领取专属 10元无门槛券
手把手带您无忧上云
云服务器
ICP备案
云直播
对象存储
腾讯会议
