交互式分析技术

机器学习和数据挖掘是个非常难的领域,所以在这个领域有数据科学家这么一个职位。“数据科学家”在2009年由Natahn Yau首次提出,其概念是采用科学方法、运用数据挖掘工具寻找新的数据洞察的工程师。数据科学家是指能采用科学方法、运用数据挖掘工具对复杂多量的数字、符号、文字、网址、音频或视频等信息进行数字化重现与认识,并能寻找新的数据洞察的工程师或专家(不同于统计学家或分析师)。一个优秀的数据科学家需要具备的素质有:懂数据采集、懂数学算法、懂数学软件、懂数据分析、懂预测分析、懂市场应用、懂决策分析等。

传统典型的应用(如推荐系统)的一个数据流过程,需要经历使用hadoop做ETL,用impala/drill等做数据探索,使用tableau做报表,使用R语言或者mahout做高级分析,最后形成一个数据产品,如下图所示:

这个过程非常复杂,对技能要求非常高,需要懂一系列复杂的系统和工具。Databricks创新的将这些统一到了一起。通过一个统一的平台,将整个ETL、探索、高级分析、报表、数据产品都统一到平台上。

做到这一点核心用到一个notebooks这种工具。Notebooks是提供一个交互式的工作区,数据科学家可以使用R,python,Scala,SQL等各种语言直接在工作区输入,结果直接图形化的展现在下面,如下面一个例子:移动设备的地理分布。

Notebook有ipthon(http://ipython.org/),zeppline(http://zeppelin-project.org/)等,都非常有特点。

原文发布于微信公众号 - 大数据和云计算技术(jiezhu2007)

原文发表时间:2016-08-16

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏程序员互动联盟

学习编程有没有必要从C语言和C++学起?应该怎么学?

软件行业经过几十年的发展,编程语言的种类已经越来越多了,而且很多新的编程语言已经在这个领域从开始的默默无闻到如今风风火火,整个编程语言朝着集成化方向发展,这样会...

10310
来自专栏企鹅号快讯

从事云计算工作需要哪些技能?需要学的有好多

从事云计算方面工作,需具备以下10条知识技能: 1. 商业和金融技能 技术和商业的融合始终是成功的绝对法宝,尤其在云计算时代。 2. 技术技能 自从有了...

29880
来自专栏镁客网

星风工作室1550万收购VR公司Enterspace,将于今年秋季建VR体验中心

13630
来自专栏数据科学与人工智能

【数据科学家】数据科学家的八大关键技能

在过去几年中,随着大数据的崛起,出现了大批的新型分析师。所谓的“数据科学家”被许多人认为是唯一能够充分利用大数据真正价值的人。虽然他们的职能已经非常清晰了,但是...

24360
来自专栏CDA数据分析师

如何使大数据分析的价值最大化?

近年来,大数据技术以各种不同的方式影响着我们的生活。通过对大量数据加以分析,政府、企业和学者等可以找到有价值的东西,从而提升我们的生活水平,改善我们的生活和工作...

223100
来自专栏镁客网

接入共享单车、AI和AR加持,新版百度地图更立体!

18340
来自专栏大数据时代

零基础的人如何高效学习大数据?

数据技术涵盖的内容还是比较多的,技术路线也比较多,对于零基础的人来说要想高效的学习大数据,应该做好以下几件事:

13330
来自专栏企鹅号快讯

数据分析师:从事数据分析都需要学习什么?

如今,数据分析师是一个很热门的职业,薪资水平较其他职位普遍偏高。很多人也因为高薪和发展,纷纷转向数据分析师。本文我们将从企业内部数据分析架构和数据分析学习两方面...

25480
来自专栏ATYUN订阅号

【业界】对人工智能、大数据和分析领域在2018年的九大预测

弗雷斯特研究公司(Forrester Research)的一份最新报告《预言2018: AI的蜜月期即将结束》预测:预计到2018年,企业将最终意识到人工智能将...

45290
来自专栏精讲JAVA

这可能是进入BAT年薪50w最好的一次机会!

作为世界第一编程语言,Java在编程界的地位毋庸置疑。当然,Java工程师也一直都是研发工程师里的重要角色。

28220

扫码关注云+社区

领取腾讯云代金券