数据科学工作流程

[导读]我们做出数据产品的过程一般是比较规范化的,通常称这个过程为:方法论、产品生命周期或者工作流程。当然数据科学的工作也有很多选择,就像没有一套通用的开发软件工程一样,但我们会努力设计出一套尽可能适用的工作流程。

01

•CRISP-DM(数据挖掘建模标准)


CRISP-DM是为大数据的信息挖掘设计的,在本质上这是标准对于软件工程来讲可能更适合数据科学。以下是CRISP-DM的6个步骤:

  1.理解业务核心

  2.理解数据关系

  3.数据准备

  4.建立模型模

  5.评价优化

  6.具体实施

02

•数据科学项目生命周期


数据科学项目生命周期的理论更加工程化了CRISP-DM的过程。它的步骤为:

  1.数据采集

  2.数据准备

  3.假设和建模

  4.评估和解释

  5.部署

  6.具体操作

  7.循环优化

03

•数据科学工作流程


在PhilipGuo的博士论文《DataScienceWorkflow:OverviewandChallenges》中,描述了数据科学的这一部分,它的步骤为:

  1.数据准备

  2.数据分析

  3.结果反馈

  4.方法传播

上是3种不同的数据处理基本流程,当然,这些都不是固定不变的,我们可以根据自己的具体需要来进行选择。我们也很期待不断有更新更好的流程出现,同时我们也很乐意看到更实用更适用的具体方法流程。

一个优秀的数据产品必须能够解决一个具体问题,有时候一个好问题比解决方法更重要。但是无论如何,我们都应该时刻记住我们数据人的核心注意力都应该在数据产品本身而不是软件工程。

原文发布于微信公众号 - 数据科学与人工智能(DS_AI_shujuren)

原文发表时间:2017-09-13

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏BestSDK

大数据解密用户画像,为何老用户利润贡献是新用户的16倍?

大家经常听到一个词,叫做“画像”,结合具体对象就是:“用户画像”、“商品画像”、“产品画像”、“资产画像”……特别是大数据时代下,在实际企业中,利用大数据进行“...

32850
来自专栏机器学习算法与Python学习

微视频 | 人工智能会抢走我们的饭碗吗?

关键字全网搜索最新排名 【机器学习算法】:排名第一 【机器学习】:排名第二 【Python】:排名第三 【算法】:排名第四 ?

31080
来自专栏灯塔大数据

TA是什么“鬼”?一个优秀数据科学家的主要构成特点

? 根据三位作者的咨询和研究经验,以及与许多大数据和分析主题的公司合作,了解一个良好的数据科学家具有哪些主要特征。 大数据分析已经满天都是,IBM项目,每天...

30590
来自专栏大数据

数据分析入门(二)

昨天讲到数据分析的步骤分为六步: 一.明确分析目的及思路 二.数据收集 三.数据处理 四.数据分析 五.数据展现 六.输出报告 一.明确分析目的及思路 1.明确...

20280
来自专栏大数据文摘

快去注册!吴恩达新书《机器学习思维》免费预定开启

15750
来自专栏PaddlePaddle

工业应用|AI语音技术应用场景及模型库概览

近年来AI技术发展速度迅猛,深入到生活中的方方面面,从手机APP到车载语音系统。今天小PP和大家一起仔细了解,AI技术中的语音技术在各场景的应用,并奉上对应模型...

18910
来自专栏云加头条

构建一站式机器学习服务平台,腾讯云为AI实现更多可能

5月24日,以“无界数据 无限智能”为主题的腾讯“云+未来”峰会AI大数据分论坛在广州拉开帷幕。此次分论坛上,腾讯云针对AI大数据技术的实现与应用,正式对外公布...

51370
来自专栏新智元

追踪报道:谷歌 TPU 处理器实现 4 大机器学习突破

【新智元导读】谷歌的论文《数据中心的 TPU 性能分析》(In-Datacenter Performance Analysis of a Tensor Proc...

34340
来自专栏AI科技评论

学界 | 构造一个和人类智能水平相当的人工智能,需要从哪方面努力?

AI科技评论按:本文由图普科技工程师翻译自《Methodology of Human-Level Artificial Intelligence Researc...

289110
来自专栏机器学习算法工程师

详解数据挖掘与机器学习的区别与联系

0、为什么写这篇博文   最近有很多刚入门AI领域的小伙伴问我:数据挖掘与机器学习之间的区别与联系。为了不每次都给他们长篇大论的解释,故此在网上整理了一些资料,...

359110

扫码关注云+社区

领取腾讯云代金券