数据挖掘应用案例:RFM模型分析与客户细分

人物

今天向大家介绍沈浩老师。他是传媒大学新闻的教授,调查统计研究所的所长,数据挖掘的专家,数据可视化追逐者,商业智能的探索家,在大数据应用方面有丰富经验。有幸参加过沈老师的大数据应用方面的培训,收获颇多,希望大家以后多关注沈老师(新浪微博:@沈浩老师)——Froc,沉淀智慧工作室创始人。

文:沈浩

转自:数据化管理

正好刚帮某电信行业完成一个数据挖掘工作,其中的RFM模型还是有一定代表性,就再把数据挖掘RFM模型的建模思路细节与大家分享一下吧!手机充值业务是一项主要电信业务形式,客户的充值行为记录正好满足RFM模型的交易数据要求。

根据美国数据库营销研究所ArthurHughes的研究,客户数据库中有三个神奇的要素,这三个要素构成了数据分析最好的指标:最近一次消费(Recency)、消费频率(Frequency)、消费金额(Monetary)。

RFM模型:R(Recency)表示客户最近一次购买的时间有多远,F(Frequency)表示客户在最近一段时间内购买的次数,M(Monetary)表示客户在最近一段时间内购买的金额。一般原始数据为3个字段:客户ID、购买时间(日期格式)、购买金额,用数据挖掘软件处理,加权(考虑权重)得到RFM得分,进而可以进行客户细分,客户等级分类,CustomerLevelValue得分排序等,实现数据库营销!

这里借用@数据挖掘与数据分析 的RFM客户RFM分类图。

本次分析用的的软件工具:IBMSPSSStatistics19,IBMSPSSModeler14.1,Tableau7.0,EXCEL和PPT

因为RFM分析仅是项目的一个小部分分析,但也面临海量数据的处理能力,这一点对计算机的内存和硬盘容量都有要求。

先说说对海量数据挖掘和数据处理的几点体会:(仅指个人电脑操作平台而言)

1、一般我们拿到的数据都是压缩格式的文本文件,需要解压缩,都在G字节以上存储单位,一般最好在外置电源移动硬盘存储;如果客户不告知,你大概是不知道有多少记录和字段的;

2、Modeler挖掘软件默认安装一般都需要与C盘进行数据交换,至少需要100G空间预留,否则读取数据过程中将造成空间不足

3、海量数据处理要有耐心,等待30分钟以上运行出结果是常有的现象,特别是在进行抽样、合并数据、数据重构、神经网络建模过程中,要有韧性,否则差一分钟中断就悲剧了,呵呵;

4、数据挖掘的准备阶段和数据预处理时间占整个项目的70%,我这里说如果是超大数据集可能时间要占到90%以上。一方面是处理费时,一方面可能就只能这台电脑处理,不能几台电脑同时操作;

5、多带来不同,这是我一直强调的体验。所以海量数据需要用到抽样技术,用来查看数据和预操作,记住:有时候即使样本数据正常,也可能全部数据有问题。建议数据分隔符采用“|”存储;

6、如何强调一个数据挖掘项目和挖掘工程师对行业的理解和业务的洞察都不为过,好的数据挖掘一定是市场导向的,当然也需要IT人员与市场人员有好的沟通机制;

数据挖掘会面临数据字典和语义层含义理解,在MetaData元数据管理和理解上7、下功夫会事半功倍,否则等数据重构完成发现问题又要推倒重来,悲剧;

8、每次海量大数据挖掘工作时都是我上微博最多的时侯,它真的没我算的快,只好上微博等它,哈哈!

传统RFM分析转换为电信业务RFM分析主要思考:

这里的RFM模型和进而细分客户仅是数据挖掘项目的一个小部分,假定我们拿到一个月的客户充值行为数据集(实际上有六个月的数据),我们们先用IBMModeler软件构建一个分析流:

数据结构完全满足RFM分析要求,一个月的数据就有3千万条交易记录!

我们先用挖掘工具的RFM模型的RFM汇总节点和RFM分析节点产生R(Recency)、F(Frequency)、M(Monetary);

接着我们采用RFM分析节点就完成了RFM模型基础数据重构和整理;

现在我们得到了RFM模型的Recency_Score、Frequency_Score、Monetary_Score和RFM_Score;这里对RFM得分进行了五等分切割,采用100、10、1加权得到RFM得分表明了125个RFM魔方块。

传统的RFM模型到此也就完成了,但125个细分市场太多啦无法针对性营销也需要识别客户特征和行为,有必要进一步细分客户群;

另外:RFM模型其实仅仅是一种数据处理方法,采用数据重构技术同样可以完成,只是这里固化了RFM模块更简单直接,但我们可以采用RFM构建数据的方式不为RFM也可用该模块进行数据重构。

我们可以将得到的数据导入到Tableau软件进行描述性分析:(数据挖掘软件在描述性和制表输出方面非常弱智,哈哈)

我们也可以进行不同块的对比分析:均值分析、块类别分析等等

这时候我们就可以看出Tableau可视化工具的方便性

接下来,我们继续采用挖掘工具对R、F、M三个字段进行聚类分析,聚类分析主要采用:Kohonen、K-means和Two-step算法:

这时候我们要考虑是直接用R(Recency)、F(Frequency)、M(Monetary)三个变量还是要进行变换,因为R、F、M三个字段的测量尺度不同最好对三个变量进行标准化,例如:Z得分(实际情况可以选择线性插值法,比较法,对标法等标准化)!另外一个考虑:就是R、F、M三个指标的权重该如何考虑,在现实营销中这三个指标重要性显然不同!

有资料研究表明:对RFM各变量的指标权重问题,Hughes,Arthur认为RFM在衡量一个问题上的权重是一致的,因而并没有给予不同的划分。而Stone,Bob通过对信用卡的实证分析,认为各个指标的权重并不相同,应该给予频度最高,近度次之,值度最低的权重;

这里我们采用加权方法:WR=2WF=3WM=5的简单加权法(实际情况需要专家或营销人员测定);具体选择哪种聚类方法和聚类数需要反复测试和评估,同时也要比较三种方法哪种方式更理想!

下图是采用快速聚类的结果:

以及kohonen神经算法的聚类结果:

接下来我们要识别聚类结果的意义和类分析:这里我们可以采用C5.0规则来识别不同聚类的特征:

其中Two-step两阶段聚类特征图:

采用评估分析节点对C5.0规则的模型识别能力进行判断:

结果还不错,我们可以分别选择三种聚类方法,或者选择一种更易解释的聚类结果,这里选择Kohonen的聚类结果将聚类字段写入数据集后,为方便我们将数据导入SPSS软件进行均值分析和输出到Excel软件!

输出结果后将数据导入Excel,将R、F、M三个字段分类与该字段的均值进行比较,利用Excel软件的条件格式给出与均值比较的趋势!结合RFM模型魔方块的分类识别客户类型:通过RFM分析将客户群体划分成重要保持客户、重要发展客户、重要挽留客户、一般重要客户、一般客户、无价值客户等六个级别;(有可能某个级别不存在);

另外一个考虑是针对R、F、M三个指标的标准化得分按聚类结果进行加权计算,然后进行综合得分排名,识别各个类别的客户价值水平;

至此如果我们通过对RFM模型分析和进行的客户细分满意的话,可能分析就此结束!如果我们还有客户背景资料信息库,可以将聚类结果和RFM得分作为自变量进行其他数据挖掘建模工作!

原文发布于微信公众号 - 数据的力量(shujudeliliang)

原文发表时间:2016-04-03

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏人工智能头条

像教光学一样在高中教深度学习?怼过LeCun的Google大牛认为这事有出路

1153
来自专栏量子位

Tile:一个崭新出炉的机器学习语言

千平 编译整理 量子位 出品 | 公众号 QbitAI Vertex.AI之前发布了一套机器学习框架PlaidML。据他们自己说,PlaidML在英伟达GPU上...

3576
来自专栏AI科技评论

学界 | 超大规模图计算在阿里巴巴的应用都有哪些?四篇KDD oral论文抢先看(附论文下载)| KDD 2018

AI 科技评论按:本文为阿里巴巴提供的 KDD 2018 解读稿件。这一事件在雷锋网学术频道 AI 科技评论旗下数据库项目「AI 影响因子」中有相应加分。

822
来自专栏IT技术精选文摘

Facebook 的应用机器学习平台

机器学习是Facebook许多重要产品和服务的核心技术。这篇论文来自Facebook的17位科学家和工程师,向世界介绍了Facebook应用机器学习的软件及硬件...

2824
来自专栏机器人网

仿人机器人的视觉伺服控制系统

 视觉是人类感知外界信息的重要手段,视觉伺服系统是机器人获取环境信息的关键组成部分。本文主要讨论仿人机器人BHR-1的视觉伺服系统。首先介绍机器人头部的视觉总体...

1133
来自专栏机器之心

独家|专访深度好奇创始人吕正东:通向理解之路

机器之心原创 作者:虞喵喵 「理解应该是对应于某一个特定场景下的语用」。 在斯坦福大学计算机科学与语言学教授 Christopher Manning 2015 ...

2724
来自专栏PPV课数据科学社区

DeepRack深度学习一体机要逆天了?

深度学习(Deep Learning)在这两年风靡全球,大数据和高性能计算平台的推动作用功不可没,绝对算得上是深度学习的“燃料”和“引擎”,而GPU(图形处理器...

3618
来自专栏AI科技评论

【业界】Deepmind 开发可微分神经计算机: 我们离会推理的机器人还有多远

还记得击败世界围棋大师的阿尔法狗 AlphaGo 吗? 它来自谷歌 DeepMind 团队,现在这个人工智能实验室又推出了一项重磅研究——可微分神经计算机的神经...

3527
来自专栏PPV课数据科学社区

程序员为什么要学深度学习?

转自:infoq( ID:infoqchina) 导读 深度学习本身是一个非常庞大的知识体系。本文更多想从程序员的视角出发,让大家观察一下深度学习对程序员意味...

3515
来自专栏PPV课数据科学社区

分布计算 | 大数据机器学习系统研究进展

要实现高效的大数据机器学习,需要构建一个能同时支持机器学习算法设计和大规模数据处理的一体化大数据机器学习系统。研究设计高效、可扩展且易于使用的大数据机器学习系统...

3545

扫码关注云+社区