交互式分析技术

机器学习和数据挖掘是个非常难的领域,所以在这个领域有数据科学家这么一个职位。“数据科学家”在2009年由Natahn Yau首次提出,其概念是采用科学方法、运用数据挖掘工具寻找新的数据洞察的工程师。数据科学家是指能采用科学方法、运用数据挖掘工具对复杂多量的数字、符号、文字、网址、音频或视频等信息进行数字化重现与认识,并能寻找新的数据洞察的工程师或专家(不同于统计学家或分析师)。一个优秀的数据科学家需要具备的素质有:懂数据采集、懂数学算法、懂数学软件、懂数据分析、懂预测分析、懂市场应用、懂决策分析等。

传统典型的应用(如推荐系统)的一个数据流过程,需要经历使用hadoop做ETL,用impala/drill等做数据探索,使用tableau做报表,使用R语言或者mahout做高级分析,最后形成一个数据产品,如下图所示:

这个过程非常复杂,对技能要求非常高,需要懂一系列复杂的系统和工具。Databricks创新的将这些统一到了一起。通过一个统一的平台,将整个ETL、探索、高级分析、报表、数据产品都统一到平台上。

做到这一点核心用到一个notebooks这种工具。Notebooks是提供一个交互式的工作区,数据科学家可以使用R,python,Scala,SQL等各种语言直接在工作区输入,结果直接图形化的展现在下面,如下面一个例子:移动设备的地理分布。

Notebook有ipthon(http://ipython.org/),zeppline(http://zeppelin-project.org/)等,都非常有特点。

原文发布于微信公众号 - 大数据和云计算技术(jiezhu2007)

原文发表时间:2016-08-16

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏镁客网

MIT研发团队开发出新系统,想要教会机器人真正理解人类说话

860
来自专栏企鹅号快讯

数据分析师:从事数据分析都需要学习什么?

如今,数据分析师是一个很热门的职业,薪资水平较其他职位普遍偏高。很多人也因为高薪和发展,纷纷转向数据分析师。本文我们将从企业内部数据分析架构和数据分析学习两方面...

2178
来自专栏大数据时代

零基础的人如何高效学习大数据?

数据技术涵盖的内容还是比较多的,技术路线也比较多,对于零基础的人来说要想高效的学习大数据,应该做好以下几件事:

1013
来自专栏云市场·精选汇

发现小程序,已上线小程序超过100万个!

小程序在场景连接、性能和基础能力上已发布了百余次新能力,接下来将重点在场景、消息和性能方面进行升级,帮助用户发现更好的小程序,帮助商家更好深度连接。

2828
来自专栏PPV课数据科学社区

21天实战人工智能系列:人工智能产品经理最佳实践(2)

一、前言 打算面向想从事人工智能产品经理职位的人,写一个系列的专题,对人工智能产品经理做一个全面的介绍,初步计划写21个专题,每天一篇,算是对自己的一种鞭策,...

3235
来自专栏镁客网

星风工作室1550万收购VR公司Enterspace,将于今年秋季建VR体验中心

1143
来自专栏Cloud Native - 产品级敏捷

只是写设计文档的设计, 就是瞎折腾

2017.3.26, 深圳, Ken Fang 做产品, 需要的是 “产品软件设计”, 而不是 “设计文档”。 做产品, 需要的是可按照产品的不同, 而可 “...

2455
来自专栏SDNLAB

2017年云计算行业最受追捧的3个职位

我们经常能听到别人讨论云计算领域最好的工作是什么?哪些云计算领域的工作薪酬最高?以下是我们根据工作需求、薪资和工作稳定性筛选出来最好的三个职位。 ? ❆ 云计算...

2504
来自专栏祝威廉

数据团队规划布局感悟(一)

记得今年一月份在杭州和W君漫步钱塘江赏霾,畅谈了两个小时,除了聊了研发的两观,全局观和产品观, 也聊了数据部的组织架构。一个良好架构布局确实会让人受益良多。

803
来自专栏企鹅号快讯

从事云计算工作需要哪些技能?需要学的有好多

从事云计算方面工作,需具备以下10条知识技能: 1. 商业和金融技能 技术和商业的融合始终是成功的绝对法宝,尤其在云计算时代。 2. 技术技能 自从有了...

2128

扫码关注云+社区