实用篇:如何建立落地型数据分析or数据挖掘流程?

数据工作者最长也是有效的一种工作方式是带项目,无论是数据分析还是专项挖掘,项目制能使数据尽量贴近业务并且有效理解业务和数据的各个维度。那么如何建立面向业务落地的数据分析(挖掘)流程?

在做本篇介绍之前,有以下几个方向需要做一个界定,这些界定是做本篇的前提:

该项目流程是面向业务层的,直接通过模型做代码优化或者以BI技术为方向的不同;

该项目的领导者是具有一定能力的数据分析师,需要具备业务常识、数据理解能力和专项分析挖掘能力,说白了,能接受问题并且能解决问题;

该项目是以业务落地为导向的,那些面向市场分析方向的战略项目等不在此列。

在以上的界定下,我们放心的来谈本篇的核心,我相信大多数一线的数据分析师都能适用这套流程。完整的数据分析(挖掘)流程包括:需求提报审核、商业理解、数据理解、专项分析(建模)、部署与实施优化、项目总结六大部分。

一、需求提报

任何数据分析的起点都是从业务需求开始的。在收到业务需求后,首先要做的还不是业务够通,是考量这个需求是否可以受理。导致需求不能受理的原因包括业务需求本身是个伪命题以及目前的数据无法支撑该需求的分析。

目的:第一步需求提报的审核目的是找到最佳需求命题,并确定该命题的可行性。

输出物料:无

周期:1天内响应

二、商业理解

商业理解包括业务语言转化成数据语言的整个过程,目的是确定业务通过数据需要实现的具体纬度,粒度,数据范围等,通过方案思路进行二次确认。确认思路后,会正式开始项目的数据部分工作。

目的:确认业务逻辑、数据分析需求、数据产出内容方向及分析思路。

输出物料:分析思维导图、测试数据

周期:2天

三、数据准备

数据准备是对即将进行的分析和挖掘工作进行预处理,包括从数据仓库中取数,验证数据质量,数据特征提取,异常值处理,数据转换,合并等,为最终的数据分析挖掘做准备。这个阶段是非常费时但是重要的工作,前期这个工作做不好会直接影响数据质量。

目的:数据前期清洗。

输出物料:数据

周期:4天

四、专项分析(建模)

经过需求确认,数据清洗之后,开始了专项数据分析和挖掘工作,包括常用的描述性数据统计、数据分类、聚类、管理、序列、规则提取等建模工作,并在专项分析或建模结束后完成模型测试工作,保持模型的稳定性和最佳拟合度。

目的:报告撰写、模型搭建。

输出物料:分析报告、建模流程和节点、模型评估报告等

周期:7天

五、部署与实施优化

本阶段包括数据结果输出,方式可能是邮件、会议类(通常是二者配合),在业务报告沟通中确认落地执行计划,并安排排期和计划方案,同时数据分析师进行数据收集,等业务执行完毕后进行效果再评估,并根据评估结果优化前期报告或模型结果。

目的:数据落地。

输出物料:业务执行计划、落地排期、数据落地收集计划等

周期:14天(根据所需数据量和业务时间需求而定)

六、项目总结

在整个项目结束后,进行整体总结,反思本项目整个过程,包括前期需求沟通与确认是否清晰,中期数据处理、分析和挖掘如何优化,后期数据落地效果和建议等,对整个项目有新的认知,最终为下一次项目积累经验。如果有必要,可以跟业务一起沟通讨论本次项目的优劣得失。另外,不是所有的有效项目都是以成功结束,失败的项目也可以为我们带来启发,最起码能说明业务的逻辑或出发点不可行。

目的:经验总结

输出物料:项目总结报告

周期:1天

只会做挖掘、只会写报告的数据分析师只能算一半,另一半就是如何把我们的思想、建议融入业务中,真正让他们理解并付诸实践。这才是数据分析师存在的真正价值。

作者简介:

作者TonySong,Webtrekk Business Consultant,网站分析和数据从业者和爱好者,前国美在线数据分析经理,百度文库认证作者,站长之家专栏作家。 微信公众号:宋天龙

原文发布于微信公众号 - CDA数据分析师(cdacdacda)

原文发表时间:2015-12-10

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏大数据挖掘DT机器学习

【观点】数据挖掘未来研究方向及热点

1、 数据挖掘未来研究方向 当前,DMKD研究方兴未艾,其研究与开发的总体水平相当于数据库技术在70年代所处的地位,迫切需要类似于关系模式、DBMS系...

57060
来自专栏CDA数据分析师

【用户】以用户为中心的网站数据分析

以用户为中心的网站数据分析(User Centered Analysis)并不是一个全新的概念,国外很早就有以用户为中心的设计(User Centered De...

195100
来自专栏PPV课数据科学社区

天下武功唯快不破:从敏捷数据到敏捷数据分析

敏捷,指反应(多指动作或言行)迅速快捷。敏捷和技术结合往往具有快速、简单、迭代的特点。如大家听说的敏捷开发就是指:以用户的需求进化为核心,采用迭代、循序渐进的方...

55060
来自专栏CSDN技术头条

【BDTC 2017讲师专访】彭冬:微博商业基础大数据平台(D+)的架构演进

BDTC 2017中国大数据技术大会将于12月7日-9日在北京新云南皇冠假日酒店举行,大会为期三天。届时,近百位技术专家将为现场数千名的大数据行业精英、技术...

27250
来自专栏大数据和云计算技术

数据治理的基本概念

刘同学的第四篇,坚持就是胜利,太棒了。 在 2009年,《大数据资产:聪明的企业怎样致胜于数据治理》一书中提到,如果基本数据不可靠,大多数企业的大数据计划或者失...

40950
来自专栏人称T客

混合云之路难言坦途,五大陷阱成拦路虎

撰文 | Felix ? 愈发多的公司开始应用混合云战略。根据2016年一份资料显示,有99%的受访者表示他们的部分系统或应用将在五年内“上云”,而有大约68...

32440
来自专栏CDA数据分析师

收藏 ▏用户群体画像功能深度解析

作者 于晓松 本文为原作者原创作品,转载需授权 所有伟大的产品,都离不开用户的追随与期待。 用户群体画像是产品用户增长的利器之一——它能够帮您探究产品指标数字...

26080
来自专栏PPV课数据科学社区

大数据的痛点

大数据分析仍处于初级阶段,我们还没有深入应用数据驱动决策。在这里,我们讲讨论当前的痛点以及如何用更好的方式应用大数据。 大数据为企业提供了一个更好的提高生产力和...

46460
来自专栏靠谱PM

为什么要做用户调研?

在前面的文章中有写过如何快速的了解一款产品(回看请戳下面链接),但在产品初期可获取的用户反馈相对来说是有限或没有的,那么当我们接到对产品优化的工作时就要主动去了...

13420
来自专栏EAWorld

敏捷数据管理的12个技术原则

回顾整个数据平台的发展,在每一个阶段所有数据类应用都会或多或少的都会有数据质量的困扰,数据标准更是难以落地。数据管理由于难度大,涉及方面多逐步成为重要不紧急的事...

40180

扫码关注云+社区

领取腾讯云代金券