学习周报20200621 | 风控、模型、回顾

Sam Gor

发布于 2020-06-24 16:46:20

1.7K0

发布于 2020-06-24 16:46:20

文章被收录于专栏：SAMshareSAMshare

这周因为一些原因需要整理一些风控建模的知识点，顺便在这里整理一下，一起来回顾回顾。

一、评分卡开发过程

1、信用评分卡分为：申请评分卡和行为评分卡。前者对新贷款申请进行筛选并判断其违约风险，后者则是对审批通过的贷款账户进行覆盖整个贷款周期的管理。

2、典型的评分卡开发流程包括：问题准备、数据获取与整合、EDA、数据准备、变量选择、模型开发、模型检验和评价、评分卡实施、模型检测。

3、标准评分卡基于logistic回归模型，其本质是线性回归的扩展，通过一个Link function的函数形式进行转换而获得。

4、模型验证需要满足4项基本要求：

达到可接受的准确性水平
必须稳健，适用于更广范围的数据集
必须简单
必须可解释，也就是说业务变量及其预测值方面是可解释的

二、EDA

1、EDA叫做探索性数据分析，需要做以下的探索：

变量的统计特性和分布
候选变量与状态变量之间、候选变量相互之间是否存在关联性或相关性
检查缺失值与极值，评估对模型的影响
探索每个候选变量的target分布

2、P值是用来判断假设检验结果的一个参数，如果P值很小则代表原假设发生的概率很小，根据小概率原理可以拒绝原假设。

三、常见问答简单梳理

1、滚动率、迁徙率分析是什么？如何在建模中应用。

滚动率分析：滚动率分析就是从某个观察点之前的一段时间(称为观察期)的最坏的状态向观察点之后的一段时间(称为表现期)的最坏状态的发展变化情况。

1）正常的客户，在未来6个月里，有96%会保持正常状态；

2）逾期1期的客户，未来有81%会回到正常状态，即从良率为81%，有6%会恶化（从M1变为M1+）；

3）逾期2期的客户，从良率为23%，有39%会恶化；

4）逾期3期的客户，从良率为14%，有61%会恶化；

5）逾期4期及以上的客户，从良率仅为4%，有82%会继续此状态。

那么，如何结合这些滚动率的结果来设置我们的target呢？（Y变量）

此图统计的逾期用的是月末的逾期状态(有些时候也可以使用历史逾期状态，一个客户只要发生过M4+逾期，未来每个月都将该客户记为M4+逾期客户)，计算逾期率使用金额(也可使用笔数)。从图中可以看出，不同月份放款的M4+在经过9个周期(9个月)后趋于稳定，也就是说成熟期是在9个月。

所以，确定Y变量可以按照下面的套路：

1）进行滚动率分析，定义坏客户，如上面所说的M4+为坏客户；

2）然后统计出M4+的Vintage数据表及Vintage图，找出成熟期；

3、表现期大于成熟期的样本可以用于建模，表现期小于成熟期的样本无法准确定义Y变量，暂时舍弃。

当然，在实际应用中，根据业务需要，Y变量的定义可以灵活变通。比如在业务刚开展不久，表现期较短，此时无法根据上述方法定义Y变量，可以暂将逾期大于10天、15天或30天的客户定义为坏等等，然后随着时间的推移不断修正Y变量及模型。

迁徙率：分析客户从某个状态变为其他状态的发展变化情况，所不同的是，滚动率侧重于分析客户逾期程度的变化，所以在做滚动率分析时需要设置相对较长的观察期和变现期；而迁移率侧重于分析客户状态的发展变化路径，如M0~M1，M1~M2，M2~M3等。

计算月度迁移率，比如，2018年7月底，M0~M1的迁移率为41110122/171325636=24%，以此类推。

2、AUC和KS的定义是什么，之间有关系？

可以参考：MLK | 模型评估的一些事

3、特征工程一般有哪些操作？

特征预处理、特征选择、特征衍生、特征提取等。用到的技术主要有连续变量离散化、分类变量哑编码、卡方分箱、特征编码、共线性检验、PCA降维、交叉验证等。

4、衍生特征的套路有哪些？

可以从三种角度出发：

1）数学运算。求和、比例、频率、平均等。

2）时间窗口。有些变量的意义只有在一段时间内才有效，所以针对时间比如说注册如期、交易日期等变量，需要计算其到现在的时间段，完成变量的衍生。

3）交叉组合。GBDT\XGBoost、LDA主题模型、用户画像分等等都可以做特征衍生。衍生出来的特征要符合实际业务含义，并且要保持稳定。

可以参考：MLK | 那些常见的特征工程

5、几种算法及其在应用场景中的差别。

lr，逻辑回归，本质也是线性回归，通过拟合拟合样本的某个曲线，然后使用逻辑函数进行区间缩放，但是一般用来分类，主要用在点击率预估、推荐系统等；
svm，支撑向量机，通过找到样本空间中的一个超平面，实现样本的分类，也可以作回归，主要用在文本分类，图像识别等领域；
nn，神经网络，通过找到某种非线性模型拟合数据，主要用在图像处理等；
nb，朴素贝叶斯，通过找到样本所属于的联合分步，然后通过贝叶斯公式，计算样本的后验概率，从而进行分类，主要用来文本分类；
dt，决策树，构建一棵树，在节点按照某种规则（一般使用信息熵）来进行样本划分，实质是在样本空间进行块状的划分，主要用来分类，也有做回归，但更多的是作为弱分类器，用在model embedding中；
rf，随进森林，是由许多决策树构成的森林，每个森林中训练的样本是从整体样本中抽样得到，每个节点需要进行划分的特征也是抽样得到，这样子就使得每棵树都具有独特领域的知识，从而有更好的泛化能力；
gbdt，梯度提升决策树，实际上也是由多棵树构成，和rf不同的是，每棵树训练样本是上一棵树的残差，这体现了梯度的思想，同时最后的结构是用这所有的树进行组合或者投票得出，主要用在推荐、相关性等；
knn，k最近邻，应该是最简单的ml方法了，对于未知标签的样本，看与它最近的k个样本(使用某种距离公式，马氏距离或者欧式距离)中哪种标签最多，它就属于这类；
朴素贝叶斯（Naive Bayes）法是基于贝叶斯定理与特征条件独立假设的分类方法，对于给定的训练数据集，首先基于特征条件独立假设学习输入/输出的联合概率分布；然后基于此模型，对给定的输入x，利用贝叶斯定理求出后验概率最大的输出y。对于给出的待分类项，求解在此项出现的条件下各个类别出现的概率，哪个最大，就认为此待分类项属于哪个类别。