【技术】实用篇:如何建立落地型数据分析or数据挖掘流程?

数据工作者最长也是有效的一种工作方式是带项目,无论是数据分析还是专项挖掘,项目制能使数据尽量贴近业务并且有效理解业务和数据的各个维度。那么如何建立面向业务落地的数据分析(挖掘)流程?

在做本篇介绍之前,有以下几个方向需要做一个界定,这些界定是做本篇的前提:

该项目流程是面向业务层的,直接通过模型做代码优化或者以BI技术为方向的不同; 该项目的领导者是具有一定能力的数据分析师,需要具备业务常识、数据理解能力和专项分析挖掘能力,说白了,能接受问题并且能解决问题; 该项目是以业务落地为导向的,那些面向市场分析方向的战略项目等不在此列。

在以上的界定下,我们放心的来谈本篇的核心,我相信大多数一线的数据分析师都能适用这套流程。完整的数据分析(挖掘)流程包括:需求提报审核、商业理解、数据理解、专项分析(建模)、部署与实施优化、项目总结六大部分。

一、需求提报

任何数据分析的起点都是从业务需求开始的。在收到业务需求后,首先要做的还不是业务够通,是考量这个需求是否可以受理。导致需求不能受理的原因包括业务需求本身是个伪命题以及目前的数据无法支撑该需求的分析。

目的:第一步需求提报的审核目的是找到最佳需求命题,并确定该命题的可行性。 输出物料:无 周期:1天内响应

二、商业理解

商业理解包括业务语言转化成数据语言的整个过程,目的是确定业务通过数据需要实现的具体纬度,粒度,数据范围等,通过方案思路进行二次确认。确认思路后,会正式开始项目的数据部分工作。

目的:确认业务逻辑、数据分析需求、数据产出内容方向及分析思路。 输出物料:分析思维导图、测试数据 周期:2天

三、数据准备

数据准备是对即将进行的分析和挖掘工作进行预处理,包括从数据仓库中取数,验证数据质量,数据特征提取,异常值处理,数据转换,合并等,为最终的数据分析挖掘做准备。这个阶段是非常费时但是重要的工作,前期这个工作做不好会直接影响数据质量。

目的:数据前期清洗。 输出物料:数据 周期:4天

四、专项分析(建模)

经过需求确认,数据清洗之后,开始了专项数据分析和挖掘工作,包括常用的描述性数据统计、数据分类、聚类、管理、序列、规则提取等建模工作,并在专项分析或建模结束后完成模型测试工作,保持模型的稳定性和最佳拟合度。

目的:报告撰写、模型搭建。 输出物料:分析报告、建模流程和节点、模型评估报告等 周期:7天

五、部署与实施优化

本阶段包括数据结果输出,方式可能是邮件、会议类(通常是二者配合),在业务报告沟通中确认落地执行计划,并安排排期和计划方案,同时数据分析师进行数据收集,等业务执行完毕后进行效果再评估,并根据评估结果优化前期报告或模型结果。

目的:数据落地。 输出物料:业务执行计划、落地排期、数据落地收集计划等 周期:14天(根据所需数据量和业务时间需求而定)

六、项目总结

在整个项目结束后,进行整体总结,反思本项目整个过程,包括前期需求沟通与确认是否清晰,中期数据处理、分析和挖掘如何优化,后期数据落地效果和建议等,对整个项目有新的认知,最终为下一次项目积累经验。如果有必要,可以跟业务一起沟通讨论本次项目的优劣得失。另外,不是所有的有效项目都是以成功结束,失败的项目也可以为我们带来启发,最起码能说明业务的逻辑或出发点不可行。

目的:经验总结 输出物料:项目总结报告 周期:1天

只会做挖掘、只会写报告的数据分析师只能算一半,另一半就是如何把我们的思想、建议融入业务中,真正让他们理解并付诸实践。这才是数据分析师存在的真正价值

原文发布于微信公众号 - PPV课数据科学社区(ppvke123)

原文发表时间:2014-04-23

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏AI科技评论

动态 | PyTorch 1.0 预览版发布:90% 的功能能经受住业界考验

AI 科技评论按:10 月 3 日,在首届 PyTorch 开发者大会上,Facebook 正式发布 PyTorch 1.0 开发者预览版,在带来 PyTorc...

14320
来自专栏PPV课数据科学社区

基于大数据的线上线下电商用户数据挖掘研究

Online-to-Offline( 简称 O2O) 电子商务模式,是一个连接线上用户和线下商家的多边平台商业模式。 O2O 商业模式将实体经济与线上资源融合在...

39350
来自专栏PPV课数据科学社区

天下武功唯快不破:从敏捷数据到敏捷数据分析

敏捷,指反应(多指动作或言行)迅速快捷。敏捷和技术结合往往具有快速、简单、迭代的特点。如大家听说的敏捷开发就是指:以用户的需求进化为核心,采用迭代、循序渐进的方...

55060
来自专栏CDA数据分析师

收藏 ▏用户群体画像功能深度解析

作者 于晓松 本文为原作者原创作品,转载需授权 所有伟大的产品,都离不开用户的追随与期待。 用户群体画像是产品用户增长的利器之一——它能够帮您探究产品指标数字...

26080
来自专栏互联网数据官iCDO

人工智能将如何革新数字营销领域?

当数字营销人员想到“人工智能”,他们会马上联想到“RankBrain”算法。 2015年,Google推出了RankBrain,一种能自动回复用户的机器学习系统...

41080
来自专栏CDA数据分析师

实用篇:如何建立落地型数据分析or数据挖掘流程?

数据工作者最长也是有效的一种工作方式是带项目,无论是数据分析还是专项挖掘,项目制能使数据尽量贴近业务并且有效理解业务和数据的各个维度。那么如何建立面向业务落地的...

30990
来自专栏云计算D1net

2017年IT预测:多云将面临令人担忧的安全问题

随着越来越多的企业的业务迁移到云计算,公共云采用和安全问题预计将会增长。 虽然云计算应用日益增长,但其未来发展还面临一些挑战,一些企业表示,他们面临转型到云计...

29160
来自专栏大数据和云计算技术

数据治理的基本概念

刘同学的第四篇,坚持就是胜利,太棒了。 在 2009年,《大数据资产:聪明的企业怎样致胜于数据治理》一书中提到,如果基本数据不可靠,大多数企业的大数据计划或者失...

41150
来自专栏钱塘大数据

国家大数据标准将出台,企业建设大数据之路如何走?

企业用户如何避免在大数据建设中“东一榔头西一锤子”,或者完全被厂商牵着鼻子走,如何能真正获取大数据的价值?这都是企业用户在大数据建设中真正关注的问题。 本文作者...

41690
来自专栏EAWorld

敏捷数据管理的12个技术原则

回顾整个数据平台的发展,在每一个阶段所有数据类应用都会或多或少的都会有数据质量的困扰,数据标准更是难以落地。数据管理由于难度大,涉及方面多逐步成为重要不紧急的事...

40680

扫码关注云+社区

领取腾讯云代金券