首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往
您找到你想要的搜索结果了吗?
是的
没有找到

Python数据挖掘】应用toad包中的KS_bucket函数统计好坏样本率、KS

可以使用Python中自助查看帮助文档的方法,很方便就可以看到这个函数里面有哪些参数,这些参数需要填什么值。...四、应用KS_bucket函数计算变量的KS值 1 等频分割 接着,调用toad库下的KS_bucket函数,设置10等分等频分箱,进行数据统计分析,语句如下: d1=toad.metrics.KS_bucket...ks列统计对应分箱中累计好样本率和累计坏样本率的差值。详细的KS原理可以参考本公众号文章:模型评价指标—KS。...五、循环计算所有变量的KS值 最后,挑选需要统计KS值的变量,先展示全体变量,语句如下: columns = list(date.columns) columns 得到结果: ['input_time'...i all_woe = all_woe.append(d1) all_woe.to_csv('all_woe_10deg.csv', encoding='gbk') 得到结果如下: 至此,在Python

1.5K10

模型评价指标—KS

对于分类模型,在建立好模型后,我们想对模型进行评价,常见的指标有混淆矩阵、KS曲线、ROC曲线、AUC面积等。也可以自己定义函数,把模型结果分割成n(100)份,计算top1的准确率、覆盖率。...之前阐述了混淆矩阵,本文阐述KS的原理和Python实现实例,其它指标会在后续文章中详尽阐述,敬请期待。...step6:计算每个组别中abs(累计逾期客户数量占比-累计正常客户数量占比)。 step7:找到累计占比差值绝对值最大的数,即为所求的KS值。 表格形式如下: ?...二、用Python如何计算KS值并绘图 1 具体代码 在python计算KS的具体代码如下: import matplotlib import pandas as pd import seaborn...得到结果如下: ks_value is 0.354 + at pop = 0.3002 ? ? 三、如何评价KS 我们计算出了模型的KS,那么多少的KS值,模型才是可以使用的?

5.8K21

风控ML | 风控建模的KS

我将会从下面几个方面来展开讲解一下KSKS的概念 KS的生成逻辑 KS的效果应用 KS的实现 01 KS的概念 KS的全称叫“Kolmogorov-Smirnov“,我知道的是苏联数学家提出来的一个检验方法...02 KS的生成逻辑 KS的生成逻辑公式也是十分简单: 好样本累计占比坏样本累计占比 在风控领域,我们在计算KS前一般会根据我们认为的“正态分布原则”进行分箱,一般来说分成了10份,然后再进行KS计算...03 KS的效果应用 KS的值域在0-1之间,一般来说KS是越大越有区分度的,但在风控领域并不是越大越好,到底KS值与风控模型可用性的关系如何,可看下表: 004 KS的实现 首先我们来对上面展示的例子进行...Python代码实现。...以上的代码实现是基于分桶后的结果进行操作的,但是在大多数的情况下,都是不先进行分桶的,而是直接进行KS计算,而计算KS的方式主要有两种: # test data y_true = np.array([

4.4K30

python KS-检验(Kolmogorov-Smirnov test) -- 检验数据是否符合某种分布

python 检验数据分布,KS-检验(Kolmogorov-Smirnov test) – 检验数据是否符合某种分布 Kolmogorov-Smirnov是比较一个频率分布f(x)与理论分布g(x...KS检验与t-检验之类的其他方法不同是KS检验不需要知道数据的分布情况,可以算是一种非参数检验方法。当然这样方便的代价就是当检验的数据分布符合特定的分布事,KS检验的灵敏度没有相应的检验来的高。...根据数据x在数据集(N)中排位r可以计算x的百分数(percentile)为r/(N+1)。...如何使用KS检验 在R中可以使用ks.test()函数。...与类似的分布检验方式比较 经常使用的拟合优度检验和Kolmogorov-Smirnov检验的检验功效较低,在许多计算机软件的Kolmogorov-Smirnov检验无论是大小样本都用大样本近似的公式,很不精准

9K60

KS检验及其在机器学习中的应用

KS检验及其在机器学习中的应用 什么是KS检验 Kolmogorov–Smirnov 检验,简称KS检验,是统计学中的一种非参数假设检验,用来检测单样本是否服从某一分布,或者两样本是否服从相同分布。...我们有假设:为此,我们构造KS统计量: 如下图,经验分布函数与目标分布的累积分布函数的最大差值就是我们要求的KS统计量: ?...train_test_split from sklearn.linear_model import LogisticRegression 如何用Python进行KS检验 Python的scipy.stats...在测试集上,将模型对y_true=1的样本的输出概率值作为data1,对y_true=0的样本的输出概率值作为data2,计算两个分布的KS统计量。我们用 lr 拿上面的数据做个例子。...ks_2samp(data1, data2) Ks_2sampResult(statistic=0.9219219219219219, pvalue=0.0) 这里KS统计量甚至超过了0.9,一般来说,

3K20

一文完全理解模型ks指标含义并画出ks曲线(包含代码和详细解释)「建议收藏」

我也是研究了一下,终于搞清楚了ks的具体计算方式。搞清楚了计算方式后,ks的含义自然就清楚了。 下面我会详细讲解实现方法,相信如果你看完本文章,肯定可以理解ks。...本文会介绍两种计算ks的方法: 第一种是我自己手动写代码实现的,可以帮助你理解ks含义; 第二种是sklearn模块里面的roc_curve函数计算,通过第一种方法理解了ks后,实际应用中使用第二种方法...ks计算流程 话不多说,先看代码,后面会解释代码,顺便解释清楚ks含义。...以上就是ks的全部计算步骤,其实结果生成那么多列,大部分都是帮助理解数据结构,真正用于计算的也就是good_percent_cum、bad_percent_cum这两列,ks其实也是max(df['good_percent_cum...ks越大,表示计算预测值的模型区分好坏用户的能力越强。

4.5K10

【自用】KS极速版sig3接口搭建

目录 前言 准备工具: 教程开始 ①安装KS极速版 ②重启模拟器 ③重启模拟器 ④Windows端 ⑤浏览器访问 免责声明: ---- 前言 提示:仅用作学习,个人感觉已经喂饭了 个人主页:@MIKE...utm_source=ydsjxy 教程开始 ①安装KS极速版 打开模拟器,双击KS极速版apk,安装KS极速版,到设置–>其他设置,打开ROOT和ADB调试。...②重启模拟器 ③重启模拟器 打开KS极速版,再打开adb工具,先用adb工具连接模拟器,输入 adb devices 找到查看设备 再输入 adb forward tcp:27042 tcp.../frida-server 这样模拟器端就配置好了 ④Windows端 没有Python的,去下载Python,去下载 安装fridaFlask``equests PyExecJs 几个依赖,   在

1K20

理解逻辑回归中的ROC曲线和KS值「建议收藏」

例如预测明天的温度,23,24,25度) 分类中比较常用的是二分类(label结果为0或1两种) 2.逻辑回归不是回归 从名字来理解逻辑回归.在逻辑回归中,逻辑一词是logistics [lə’dʒɪstɪks...但是最好的阈值是不能通过这个图知道的,要通过KS曲线得出。...KS曲线的纵轴是表示TPR和FPR的值,就是这两个值可以同时在一个纵轴上体现,横轴就是阈值,,然后在两条曲线分隔最开的地方,对应的就是最好的阈值,也是该模型最好的AUC值,就比如是上图的AUC=0.810...KS值就是max(abs(TPR-FPR)),即:TPR和FPR只差最大的那个值。.../zyq11223/article/details/79085711 ROC曲线与KS曲线的理解 https://www.jianshu.com/p/07577d1f9fff 关于模型检验的ROC值和KS

2K20
领券