【入门】怎么培养数据分析的能力?

一些个人的工作经验,希望对后来人有帮助。首先总结下平时数据分析的一般步骤。

第一步:数据准备:(70%时间)

  • 获取数据(爬虫,数据仓库)
  • 验证数据
  • 数据清理(缺失值、孤立点、垃圾信息、规范化、重复记录、特殊值、合并数据集)
  • 使用python进行文件读取csv或者txt便于操作数据文件(I/O和文件串的处理,逗号分隔)
  • 抽样(关键是随机)
  • 存储和归档

第二步:数据观察(发现规律和隐藏的关联)

  • 单一变量:点图、抖动图;直方图、核密度估计;累计分布函数
  • 两个变量:散点图、LOESS平滑、残差分析、对数图、倾斜
  • 多个变量:假色图、马赛克图、平行左边图

第三步:数据建模

  • 推算和估算(均衡可行性和成本消耗)
  • 缩放参数模型(缩放维度优化问题)
  • 建立概率模型(二项、高斯、幂律、几何、泊松分布与已知模型对比)

第四步:数据挖掘

  • 选择合适的机器学习算法(蒙特卡洛模拟,相似度计算,主成分分析)
  • 大数据考虑用Map/Reduce
  • 得出结论,绘制最后图表

循环到第二步到第四步,进行数据分析,根据图表得出结论完成文章。

结合实际业务来做数据分析

“无尺度网络模型”的作者艾伯特-拉斯洛·巴拉巴西认为——人类93%的行为是可以预测的。数据作为人类活动的痕迹,就像金矿等待发掘。但是首先你得明确自己的业务需求,数据才可能为你所用。

1. 数据为王,业务是核心

  • 了解整个产业链的结构
  • 制定好业务的发展规划
  • 衡量的核心指标有哪些

有了数据必须和业务结合才有效果。首先你需要摸清楚所在产业链的整个结构,对行业的上游和下游的经营情况有大致的了解。然后根据业务当前的需要,指定发展计划,从而归类出需要整理的数据。最后一步详细的列出数据核心指标(KPI),并且对几个核心指标进行更细致的拆解,当然具体结合你的业务属性来处理,找出那些对指标影响幅度较大的影响因子。前期资料的收集以及业务现况的全面掌握非常关键。

2. 思考指标现状,发现多维规律

  • 熟悉产品框架,全面定义每个指标的运营现状
  • 对比同行业指标,挖掘隐藏的提升空间
  • 拆解关键指标,合理设置运营方法来观察效果
  • 争对核心用户,单独进行产品用研与需求挖掘

发现规律不一定需要很高深的编程方法,或者复杂的统计公式,更重要的是培养一种感觉和意识。不能用你的感觉去揣测用户的感觉,因为每个人的教育背景、生活环境都不一样。很多数据元素之间的关系没有明显的显示,需要使用直觉与观察(数据可视化技术来呈现)。

3. 规律验证,经验总结

发现了规律之后不能立刻上线,需要在测试机上对模型进行验证

原文发布于微信公众号 - PPV课数据科学社区(ppvke123)

原文发表时间:2014-10-10

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏人工智能快报

谷歌开源机器学习框架TensorFlow 1.0

据外媒报道,在美国加利福尼亚州山景市举行的首届TensorFlow开发峰会上,谷歌发布了代表人工智能发展趋势的TensorFlow深度学习开源框架1.0版。谷歌...

3085
来自专栏AI科技评论

干货 | 这些关于 TensorFlow 问题的解答,你不能错过

用 10 周时间,让你从 TensorFlow 基础入门,到搭建 CNN、自编码、RNN、GAN 等模型,并最终掌握开发的实战技能。4 月线上开课, www.m...

3165
来自专栏BestSDK

百度上线深度学习工具Visual DL,提供独立的Python SDK

百度PaddlePaddle & ECharts团队宣布上线深度学习可视化工具Visual DL,该工具可以使得深度学习任务变得生动形象,实现可视分析。百度希望...

3819
来自专栏ATYUN订阅号

【实验】试试这个AI实验:把2D图像转换成3D

AiTechYun 编辑:nanan ? 2D图像转换为3D 今年1月,Fleisher和Shirin Anlen(该AI的开发人员)写了一个关于图像转换的AI...

3939
来自专栏AI研习社

我是这样从零开始用深度学习做狗脸识别 iOS App 的

我是一个初创公司的软件工程师。曾经有段时间在谷歌工作,做谷歌财经图表和Multiple inboxes,并主管谷歌地图的业务。最近,我开了一家叫Spring的购...

2082
来自专栏人工智能头条

Facebook如何运用机器学习进行亿级用户数据处理

2725
来自专栏新智元

盘点 | TOP49人工智能常用 API

【新智元导读】作者Geethika Bhavya Peddibhotla列出了49个人工智能领域常用的API,包括机器学习和预测、人脸和图像识别、文本和情感分析...

4729
来自专栏AI研习社

人脸识别哪家强?亚马逊、微软、谷歌等大公司技术对比分析

哪一个人脸识别 API 是最好的?让我们看看亚马逊的 Rekognition、谷歌云 Vision API、IBM 沃森 Visual Recognition ...

2923
来自专栏机器之心

伯克利星际争霸II AI「撞车」腾讯,作者:我们不一样

深度强化学习已经成为获取有竞争力游戏智能体的有力工具,在 Atari(Mnih et al. 2015)、Go(Silver et al. 2016)、Mine...

1012
来自专栏技术翻译

人工智能的10个最佳框架和库

人工智能已经存在了很长时间。然而,由于该领域的巨大改进,近年来它已成为流行语。人工智能曾经被称为总体书呆子和天才的领域,但由于各种图书馆和框架的发展,它已成为一...

1K2

扫码关注云+社区

领取腾讯云代金券