专栏首页SAMshare机器学习建模老司机的几点思考与总结

机器学习建模老司机的几点思考与总结

机器学习现在在很多地方都是十分流行,无论现在的你是否从事建模工作,还是你将来想从事相关工作,对于从业者可以从中看出一些同感与意见,对于未来从业者可以了解这个职业到底是做些什么。

话不多说,一个机器学习模型的开发周期一般可以分为:

1、业务需求挖掘(Business insight)

2、数据搜集处理(Data Curation)

3、模型训练开发(Modeling)

4、部署及测试上线(Deployment)

5、模型闭环监控及继续优化(Feedback & Improvement)

本文也是按照这个结构来进行展开总结与思考。

01 业务需求挖掘(Business insight)

当我们接到业务需求的时候,第一件事情需要了解的,就是需求的整体逻辑。一个合理的产品设计通常都是与业务痛点相挂钩的。如果业务提出一个比较空泛的需求,如:

我想要提高一下营销成功率,帮我搞个模型吧。

这个时候,我们需要沉住气,,有的时候数据建模师也需要充当起“心理辅导员”,慢慢引导业务说出实际的业务痛点与需求,好让我们对症下药(当然靠谱且有经验的业务是不会犯这种行为的)。在经过若干分钟的业务了解,其实业务真正想提高的,是最后的审批通过率,而继续了解,发现是由于最近业务的增长,电销人员的人手不足,导致审批的效率低下,而真正有意愿购买产品的客户被营销的可能性降低,导致最终的整体转换率过低。

了解过后,其实我们会有一个初步的模型设计思路,那就是可以设计一个模型对客户进行意愿度的预评估,根据评分对客户进行营销优先级,结合电销人员的经验度(营销成功率)与营销黄金时间等等维度的结合,输出营销计划,提高转化率。

那么在了解了业务需求后,接下来就需要针对具体的需求,继续咨询业务方一些业务知识点,而不是有了一点眉目就马上开工,毕竟模型还是做出来还是业务在用,事先沟通好一些细节性的问题也是无碍,而且沟通的过程可以让你对业务有更加深入的了解,对你后面的特征开发有很好的帮助。

02 数据搜集处理(Data Curation)

当我们确定了要开发的模型之后,这个时候需要做的是搜集数据与处理数据了。顾名思义,这一步也就是收集你可以用的数据去训练模型,而这是我认为是最为重要的一步。而在开始搜集数据前,需要了解几点内容:

1、模型应用节点

模型的应用节点,决定了你有哪些变量是不可以用的,避免说出现“事后变量”或者是无法上线的变量,这往往是和业务逻辑是挂钩的,在上一步的Business insight过程需要了解清楚。比如:一个模型是打算应用于初审环节(贷款审批流程),因此我们在初审节点后的变量都是不能用的,比如终审环节、门店审核等等,还有一些贷后的变量都是不能用的。

2、时效性要求

有些模型可能需要应用在实时的审批过程,要求秒级响应,但也有些模型的时效性要求则没那么高,小时级别的,次日级别的都会有,了解清楚,这样子在设计你的模型或者变量的时候,更加地灵活。

3、预算多少

预算这个东西其实很难说,但是如果能有,那当然是最好的了,因为有了钱,自然可以从第三方机构接一些外部数据源,类似于外部征信之类的,这对于我们的模型效果会有很好的提升。当然,很多时候,我们都会是用公司已经接入的数据源来开发特征的了。

4、项目紧急程度

这个不仅是对于模型开发项目,其实所有的项目都是需要的,了解清楚项目所能给的最大时长,做好项目计划,马上开始工作。搜集数据,不需要等到所有的特征都搜集完才开始开发特征或者训练模型,有多少数据,就先搞多少数据。

在了解了以上的内容后,你就可以开始搜集所有相关的数据了,因为你的数据源会非常多,所以这里你必须做好数据的归档,不然后期会很乱,而且原始数据需要备份一份不要动,方便后续复盘使用。具体可以参考我先前的一篇文章内容《分享8点超级有用的Python编程建议》

搞到数据后,需要做的事情大概可以分为:

1、消化所有的数据含义、逻辑;

2、对数据进行各种清洗,变成你熟悉的结构;

3、对数据进行质量控制,找出明显有问题的数据,探寻原因,实在找不到原因就直接剔除不用;

4、对数据衍生的特征做好备注,方便后面的回溯。

更加细致的数据挖掘过程这里就不展开,有很多好的书籍和开源代码可以参考。

03 模型训练开发(Modeling)

模型训练开发,这里指的是已经做完特征工程的步骤,重点在于筛选变量、选择算法、算法调参、模型评估等等的操作。这里也有几点建议分享给大家:

1、变量筛选,尽量多用自动化工具,对你的效率提升很大。最好还是通过自己总结多方特征筛选的方法,写一套自己的方法,方便自己调用;2、如果是使用传统机器学习算法,如rf、gbdt、xgb等,建议变量个数不要太多,50个以内差不多了。如果是一些深度学习相关的模型算法就另当别论。3、对于模型算法的选择,如果不知道选啥,可以都试试看看效果最直接。但是作为一个有经验的模型开发专家,你还是需要了解算法的原理,根据实际问题的情况来选择算法会更加好,比如类别型变量的占比、数据维度、样本目标占比、数据分布等等。4、算法调参和模型评估的方法太多太成熟了,可以自己试着总结一份demo代码。

04 部署及测试上线(Deployment)

关于模型部署,涉及到的步骤就没那么多了,主要分成:

1、模型部署常用的就是pmml模型文件,所以你需要导出来给到后台开发小哥

2、而在这之前,一般需要我们写好接口文档,确定好特征逻辑与部署节点,给到产品经理

3、自己在对应的平台上写sql,测试对数等,更多地,这一步考验的是模型开发者的细心程度,当然,熟悉的老司机会总结出合适自己的一套的变量上线套路,弯道超车

4、模型文件部署到生产环境后,拿一些实际的单子进行A\B test,看下实际输出是否满足预期,没有问题就万事大吉,不然得细心从变量开发的逻辑开始检查

05 模型闭环监控及继续优化(Feedback & Improvement)

至于模型上线后,我们并不是就完全不管了,我们需要时刻监控模型的表现,对于排序模型,主要可以从下面几个角度去监控:

1、排序性情况,比如评分卡模型,各个分组间的badrate是否仍存在单调性

2、分类占比,也就是各个类别的占比情况,如果出现与建模时候差异较大的情况,需要有所提示

3、与模型相关的业务指标波动,有些模型会直接影响通过率或者是转化率的,通过这些指标也是可以看出异常

除此之外,评分卡模型一般一年左右就需要迭代或更换,需要时刻留意效果作出决策。

以上是对机器学习建模的一些总结与思考,欢迎指正!

本文分享自微信公众号 - SAMshare(gh_8528ce7b7e80),作者:Samshare

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2019-07-29

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 算法工程师的日常工作些什么?

    有很多小伙伴可能都对未来的工作内容有所好奇,不知道所谓的算法工程师到底日常在做什么,而我以后能不能胜任?

    Sam Gor
  • Machine Learning-模型结果的应用之道

    当你有了一个相当不错的模型结果了,这个时间就需要上线应用了,但实际上这个过程也是需要注意很多东西的呢,比如汇报你的项目结果、上线计划沟通、上线后的监控等等,都是...

    Sam Gor
  • 一篇值得悟一悟的机器学习模型应用之道

    当你有了一个相当不错的模型结果了,这个时间就需要上线应用了,但实际上这个过程也是需要注意很多东西的呢,比如汇报你的项目结果、上线计划沟通、上线后的监控等等,都是...

    Sam Gor
  • 【干货】刘伦:大数据时代的城市模型研究

    本文共3400字,建议阅读时间7分钟 本讲座选自刘伦博士于2015年4月16日在 RONG 系列论坛之三——大数据与未来人居研讨会上所做的题为《大数据时代的城市...

    数据派THU
  • keras中文doc之三

    前面介绍了keras文档一二 keras中文文档, keras中文-快速开始Sequential模型

    用户1908973
  • 中国台湾大学林轩田机器学习基石课程学习笔记16(完结) -- Three Learning Principles

    上节课我们讲了一个机器学习很重要的工具——Validation。我们将整个训练集分成两部分:DtrainD_{train}和DvalD_{val},一部分作为机...

    红色石头
  • Uber开放源代码“ Manifold”:用于机器学习的可视化调试工具

    Uber最近为其机器学习模型开放了其与模型无关的可视调试工具“ Manifold”。该工具的目的是帮助数据科学家和数据工程师以直观的方式识别数据集和模型之间的性...

    代码医生工作室
  • 领域驱动系列一基本概念介绍

    领域驱动相信都不陌生,个人觉得是一个非常好的软件开发思想,帮助我们充分发挥面向对象的思想,同时让设计模式发挥他的魔力,同时让我们的代码不再局限于过程式的脚本.所...

    郑小超.
  • 谷歌MnasNet:实现移动端机器学习模型的自动化

    在智能手机领域,检测对象,分类图像和识别面部的应用程序并不是什么新鲜事;它们已经被Google Lens和Snapchat等应用推广,但普遍性无法替代质量,而大...

    AiTechYun
  • 统计学习方法概论

    1.统计学习 统计学习的对象是数据,它从数据出发,提取数据的特征,抽象出数据的模型,发现数据中的知识,又回到对数据的分析与预测中去。统计学习...

    机器学习AI算法工程

扫码关注云+社区

领取腾讯云代金券