KS-检验与t-检验等方法不同的是KS检验不需要知道数据的分布情况,可以算是一种非参数检验方法。当然这样方便的代价就是当检验的数据分布符合特定的分布时,KS-检验的灵敏度没有相应的检验来的高。在样本量比较小的时候,KS-检验作为非参数检验,在分析两组数据之间是否存在异常时相当常用。
最近我们被客户要求撰写关于潜类别混合效应模型(LCMM)的研究报告,包括一些图形和统计输出。
copula是将多变量分布函数与其边缘分布函数耦合的函数,通常称为边缘。在本视频中,我们通过可视化的方式直观地介绍了Copula函数,并通过R软件应用于金融时间序列数据来理解它 。
copula是将多变量分布函数与其边缘分布函数耦合的函数,通常称为边缘。在本视频中,我们通过可视化的方式直观地介绍了Copula函数,并通过R软件应用于金融时间序列数据来理解它
这篇博客主要总结一下常用的激活函数公式及优劣势,包括sigmoid relu tanh gelu
逻辑回归(Logistic Regression,LR)。在Kaggle竞赛的统计中,LR算法以63.5%的出产率,荣获各领域中“出场率最高的算法”这一殊荣。在实际场景中,逻辑回归同样应用广泛,大到国家各项经济政策的制定,小到计算广告CTR,都能看到LR算的身影。
copula是将多变量分布函数与其边缘分布函数耦合的函数,通常称为边缘。在本视频中,我们通过可视化的方式直观地介绍了Copula函数,并通过R软件应用于金融时间序列数据来理解它(点击文末“阅读原文”获取完整代码数据)。
copula是将多变量分布函数与其边缘分布函数耦合的函数,通常称为边缘。在本视频中,我们通过可视化的方式直观地介绍了Copula函数,并通过R软件应用于金融时间序列数据来理解它。
「独立成分分析」(ICA)与 PCA 类似,也会找到一个新基底来表示数据,但两者的目标完全不同。
【导读】主题链路知识是我们专知的核心功能之一,为用户提供AI领域系统性的知识学习服务,一站式学习人工智能的知识,包含人工智能( 机器学习、自然语言处理、计算机视觉等)、大数据、编程语言、系统架构。使用请访问专知 进行主题搜索查看 - 桌面电脑访问www.zhuanzhi.ai, 手机端访问www.zhuanzhi.ai 或关注微信公众号后台回复" 专知"进入专知,搜索主题查看。今天给大家继续介绍我们独家整理的机器学习——马尔科夫链蒙特卡洛采样(MCMC)方法。 上一次我们详细介绍了贝叶斯参数估计,里面我们
▌4.1 基于蒙特卡罗方法的理论 本章我们学习无模型的强化学习算法。 强化学习算法的精髓之一是解决无模型的马尔科夫决策问题。如图4.1所示,无模型的强化学习算法主要包括蒙特卡罗方法和时间差分方法。本
在数据挖掘比赛中,很重要的一个技巧就是要确定训练集与测试集特征是否同分布,这也是机器学习的一个很重要的假设。但很多时候我们知道这个道理,却很难有方法来保证数据同分布,这篇文章就分享一下我所了解的同分布检验方法。
统计学是一门研究数据收集、分析和解释的学科,它在数据分析中起着重要的作用。Python作为一种功能强大的编程语言,在数据分析领域拥有广泛的应用。本文将介绍Python数据分析中的重要统计学概念,帮助您更好地理解和应用统计学知识。
上期我们一起揭开了图像处理中的卷积操作的疑惑, 机器视觉算法(第12期)----图像处理中的卷积操作真的是在做卷积吗? 今天,我们一起看下直方图处理中的两大神器:直方图均衡与直方图匹配。
损失函数除了作为模型训练时候的优化目标,也能够作为模型好坏的一种评价指标。但通常人们还会从其它角度评估模型的好坏。
假如图像的灰度分布不均匀,其灰度分布集中在较窄的范围内,使图像的细节不够清晰,对比度较低。通常采用直方图均衡化及直方图规定化两种变换,使图像的灰度范围拉开或使灰度均匀分布,从而增大反差,使图像细节清晰,以达到增强的目的。 直方图均衡化,对图像进行非线性拉伸,重新分配图像的灰度值,使一定范围内图像的灰度值大致相等。这样,原来直方图中间的峰值部分对比度得到增强,而两侧的谷底部分对比度降低,输出图像的直方图是一个较为平坦的直方图。
图像的灰度直方图就描述了图像中灰度分布情况, 能够很直观的展示出图像中各个灰度级所占的多少。图像的灰度直方图是灰度级的函数, 描述的是图像中具有该灰度级的像素的个数: 其中, 横坐标是灰度级, 纵坐标是该灰度级出现的率。如下图所示
作者:Belter。专注于生物方向的数据分析,一位编程爱好者。关注Python, R和大数据。
最近我们被客户要求撰写关于GARCH-EVT-Copula的研究报告,包括一些图形和统计输出。
在前面一篇量子系统模拟的博客中,我们介绍了使用python去模拟一个量子系统演化的过程。当我们尝试理解量子态和量子门操作时,可以通过其矩阵形式的运算来描述量子态演化的过程:
采样本质上是对随机现象的模拟,根据给定的概率分布,来模拟产生一个对应的随机事件。采样可以让人们对随机事件及其产生过程有更直观的认识。
在本章中,我们将处理来自在线社交网络的数据,并使用 WS 图对其进行建模。WS 模型像数据一样,具有小世界网络的特点,但是与数据不同,它的节点到节点的邻居数目变化很小。
以下部分是基于《Fundamentals of Data Visualization》学习笔记,要是有兴趣的话,可以直接看原版书籍:https://serialmentor.com/dataviz/
神经网络鲁棒性评估一直是深度学习领域中一个热门的研究方向,该论文是通用评估神经网络鲁棒性方法的开山之作。作者将神经网络鲁棒性问题转换成局部Lipschitz常数的估计问题,并利用极值理论方法进行评估,进而提出了一种度量神经网络鲁棒性的通用方法-CLEVER,该方法可以对不可知的攻击方式进行评估,并且对于大规模的神经网络计算成本较少。该论文涉及到大量的数学推导,需要沉下心来慢慢琢磨。
直方图均衡化是一种用于增强图像对比度的图像处理技术。它通过重新分配图像中的像素值,使得图像的像素值分布更加均匀,增强图像的对比度,从而改善图像的视觉效果。
第一种方法,我们使用matplotlib图形库中的hist函数,熟悉该库的人应该知道这是一个直方图绘制函数,以上是从API中找到的hist函数的所有参数,我们给出一维数组或者列表x,使用hist画出该数据的直方图。
对VaR计算方法的改进,以更好的度量开放式基金的风险。本文把基金所持股票看成是一个投资组合,引入Copula来描述多只股票间的非线性相关性,构建多元GARCH-EVT-Copula模型来度量开放式基金的风险,并与其他VaR估计方法的预测结果进行比较。其次是将VaR引入到基金业绩评价中,构造RAROC指标来评价基金业绩,检验该评价指标的可行性。
2018年在数据库顶会SIGMOD上,MIT的Tim Kraska发表了一篇论文题为《The Case for Learned Index Structures》(下简称“Learned Index论文”),提出了“Learned Index(学习索引)”的概念,这篇论文引发了业界高度关注的原因不仅是“Learned Index”概念新颖,更在于Google AI负责人Jeff Dean也位列此论文作者。在AI领域,凡是有Jeff Dean名字出现的论文,都带有超越论文本身的技术方向意义。
QQ图通过把测试样本数据的分位数与已知分布相比较,从而来检验数据的分布情况。[1]
其实我们在训练模型的过程,都会经常进行数据采样,为了就是让我们的模型可以更好的去学习数据的特征,从而让效果更佳。但这是比较浅层的理解,更本质上,数据采样就是对随机现象的模拟,根据给定的概率分布从而模拟一个随机事件。另一说法就是用少量的样本点去近似一个总体分布,并刻画总体分布中的不确定性。
还是简单复习一下积分的相关运算,我们可能也只会用到其中几项。当然最好是花点时间复习一下积分、微分、极限的一些相关概念,当然在解题的过程里也可以一点点回忆。
统计学一般分统计描述及统计推断两部分。统计描述是通过图表或数学方法,对数据资料进行整理后描述数据的客观规律,而统计推断则是使用从总体中随机抽取的数据样本,用样本数据总结的规律去对总体的未知特征进行推断。本章主要学习统计推断常见的概念及相关基础内容。
PDF:连续型随机变量的概率密度函数是一个描述这个随机变量的输出值,在某个确定的取值点附近的可能性的函数。
【导读】专知成员Hui上一次为大家介绍Numpy包的使用,介绍了Numpy库的一些基本函数和一些简单用法,以及图像灰度变换,这一次为大家详细讲解图像的缩放、图像均匀操作和直方图均衡化。 图像的缩放、均
V={0,1,2}时,D4=无穷大,D8=无穷大,Dm=无穷大;V={2,3,4}时,D4=无穷大,D8=4,Dm=5。
对于我们研究的大部分物理化学问题来说,由于原子核的质量比电子大很多,忽略它们之间的耦合(波恩-奥本海默近似),用量子化学的方法处理分子体系中的电子结构部分,用经典力学处理其中的原子核部分已经能得到较好的结果。然而在一些特殊情况下原子核的量子效应的贡献不能忽略,例如含有轻原子(如H)的体系、温度较低的情形或者涉及到多电子态的非绝热过程,此时需要使用量子力学的手段研究分子体系的统计或动力学性质。
ECOD首先以非参数方式估计变量的分布,然后将所有维度的估计尾部概率相乘,得出观测值的异常得分。ECOD假设变量独立,并且可以估算出每个变量的经验累积分布。虽然变量独立的假设可能过于严格,但这并不是新的假设,因为前一章中的HBOS也做了同样的假设,并且已被证明是有效的。
论文地址: https://papers.nips.cc/paper/3964-double-q-learning.pdf
好久没更新了,最近在看统计学。看了机器学习回头再看统计学总有一种怪异的感觉,不能说一模一样,只能说直接照搬,说精神续作也好,说致敬经典也好,说换皮圈钱也好,总之今天机器学习课本费劲巴拉往你脑子里塞的概念,到统计学那边一查时间搞不好已经有上百年历史。
我们了解了“样本空间”,“事件”,“概率”。样本空间中包含了一次实验所有可能的结果,事件是样本空间的一个子集,每个事件可以有一个发生的概率。概率是集合的一个“测度”。 这一讲,我们将讨论随机变量。随机变量(random variable)的本质是一个函数,是从样本空间的子集到实数的映射,将事件转换成一个数值。根据样本空间中的元素不同(即不同的实验结果),随机变量的值也将随机产生。可以说,随机变量是“数值化”的实验结果。在现实生活中,实验结果可以是很“叙述性”,比如“男孩”,“女孩”。在数学家眼里,这些文字化
在随机变量中,我提到了连续随机变量。相对于离散随机变量,连续随机变量可以在一个连续区间内取值。比如一个均匀分布,从0到1的区间内取值。一个区间内包含了无穷多个实数,连续随机变量的取值就有无穷多个可能。 为了表示连续随机变量的概率分布,我们可以使用累积分布函数或者密度函数。密度函数是对累积分布函数的微分。连续随机变量在某个区间内的概率可以使用累积分布函数相减获得,即密度函数在相应区间的积分。 在随机变量中,我们了解了一种连续分布,即均匀分布(uniform distribution)。这里将罗列一些其他的经典
在差异表达基因分析后,我们通常会选择一些显著差异表达的基因进行进一步的可视化分析,例如箱线图。箱线图是一种用于显示一组数据分散情况资料的统计图,包括最大值、最小值、中位数、上四分位数(Q3,75th percentile)和下四分位数(Q1,25th percentile)。
如果要导出给定分布的矩,则一些矩生成函数很有趣。另一个有趣的特征是,在某些情况下,此矩生成函数(在某些条件下)完全表征了随机变量的分布。
作者:Vamei 出处:http://www.cnblogs.com/vamei 欢迎转载,也请保留这段声明。谢谢!
在金融领域中,我们的y值和预测得到的违约概率刚好是两个分布未知的两个分布。好的信用风控模型一般从准确性、稳定性和可解释性来评估模型。
读书笔记: 博弈论导论 - 02 - 引入不确定性和时间 前言 本文是Game Theory An Introduction (by Steven Tadelis) 的学习笔记。 术语 概率分布函数(probability distribution function) 一个简单投机(lottery)(行动 )在结果 上的概率分布记做 累积分布函数(cumulative distribution function) 一个简单投机(lottery)行动 ,在结果区间 上的累积分布函数:
领取专属 10元无门槛券
手把手带您无忧上云