​重磅 | DAAS(数据管理服务)调研与简要分析

文| 张涵诚、陆骥

本文为作者投稿,转载请联系作者

背景

当前大家都知道:

1.数据交易市场的繁荣为时过早,数据加工和处理太过于分散化;

2.数据金字塔顶部的数据成为重要的资产,然后拥有者并不知道如何释放;

3.互联网数据聚合及释放数据价值的经验值得所有企业参考。

笔者团队经历对于DAAS的几个阶段,艰辛万苦,若有所思,现在把研究成果分享出来,以求大家反馈,研究研究再改进。

DAAS是什么

基本定义

  • Users can access vendor provided databases

用户可直接获取由BD公司提供的数据库

  • Users can host their own databases on vendor managed systems.

用户可在BD公司提供数据管理平台上处理自己的数据库

  • Users have the option to access data (their own and/or other parties) on a usage sensitive basis.

用户可以按照自身意愿对多源数据进行应用级别的分析处理

DAAS哪些公司在做

DAAS有哪些产品

Amazon EMR Core DaaS

  • Amazon Elastic MapReduce (Amazon EMR) 是一种 Web 服务,它简化了大数据的处理,提供托管Hadoop框架,可以让用户轻松、快速、经济高效地在多个动态可扩展的 Amazon EC2 实例之间分发和处理大量数据。
  • 用户还可以运行其他常用的分发框架(例如 Amazon EMR 中的 Spark 和 Presto)与其他 AWS 数据存储服务(例如 Amazon S3 和 Amazon DynamoDB)中的数据进行互动。
  • Amazon EMR 能够安全可靠地处理大数据使用案例,包括日志分析、Web 索引、数据仓库、机器学习、财务分析、科学模拟和生物信息。

Altiscale Performance DaaS

  • Altiscale通过将Hadoop的全部服务转向云端,并提供Hadoop即服务以减少Hadoop的复杂性;
  • 将Hadoop服务推向云端,意味着更广阔的受众,而客户在遭遇不可避免的问题时,完全可以依赖Altiscale的服务。由于Altiscale完全专注于Hadoop,因此解决问题的过程可以从几天缩短到几个小时。
  • 有的时候,Altiscale会在处理阶段自己发现问题,有的时候则是客户主动上报问题,因此客户并没有被迫要自己去追踪问题,然后留给Altiscale来解决。
  • 该产品被业界认为具有规模生产效应。

Qubole Feature DaaS

  • Qubole致力于解决基础设施冲突的问题,一旦互联网的政策到位,任何数量的数据分析都可以在Hive,spark、Presto等数据处理引擎的协助下实现一键访问,也可连接其他服务的API来导入数据。
  • Qubole简化、加快和缩减了处理存储在AWS、谷歌或者Azure云中的大数据分析的工作量,用户无需了解Hadoop系统管理,大大简化了大数据应用的复杂性,而且成本更低。
  • Qubole是一个企业级别的解决方案,它的灵活性使得它脱颖而出,成为一款相当值得使用的软件平台。

DAAS有哪些案例

DaaS案例 - 云平台

Amazon Elastic MapReduce 支持的功能包括

1)查看过此内容的人还查看过

2)要点回顾

3)键入搜索内容时自动完成词语

4)搜索拼写建议

5)热门搜索

6)广告

Yelp 每天运行约 200 个 Amazon Elastic MapReduce 作业来处理 3 TB 的数据,并借助AWS来帮助他们进行 Hadoop 应用程序开发,帮助Yelp节省 55 000 USD 用于前期购置硬件的资金,并且从设置到运行只需几天,而不是数月。

Yelp 使用 Amazon S3 来存储每天的日志和照片,每天可生成约 100 GB 的日志。该公司还使用 Amazon EMR 支持近20个单独的批处理脚本,它们当中的大部分都用于处理日志,开发人员可以集中精力应对其他挑战。

  • 1)DaaS案例-自建

Big data cloud service makes ad-hoc analysis easier in Hadoop.

  • 2)DaaS案例-技术输出到数据拥有者

IBM所提供的Twitter服务分析:IBM向企业提供访问数据和分析的渠道,查看Twitter每日5亿条推讯,还有2.8亿月活跃用户。此外,它还提供了一个叫做”firehose”的推讯分析工具与应用,将这些混乱的非结构化数据转变为有意义的信息;它还培训了4000名咨询师,协助企业将计划付诸行动以期获益。

苹果和IBM刚刚宣布,合作开设了一个大数据的健康平台。苹果手表的出现可能会使商用可穿戴设备成为主流,毫无疑问也会带来新一波BDaaS的应用爆发。预测将有数百万使用者进行各种操作,包括监控心率、安排社交日程、遥控家庭娱乐设备,从而造就大量的数据。然后苹果再找出新办法,将这些数据包装起来重新卖给我们。

  • 3)DaaS案例-自产自销

农业机械生产商John Deere,他为所有拖拉机配备了传感器,这些传感器会收集机械、土壤以及庄稼状况的信息,并将这些流数据传到MyJohnDeere.com与Farmsight服务上;从何时该订购备件,到哪里种植庄稼一应俱全,农场主可以付费订阅这些分析情报。

DAAS可能存在的商业模式

在使用DaaS时,理论上来说所有烦人的”基础细节”都不用再操心了(在组件和基础设施上的大量投入),企业也就可以专心解决业务问题。DaaS提供商承担合规和数据保护的成本,当数据存储到他们的云服务器上后,一切工作将由他们负责。租用他们基于云的存储与分析引擎,然后按使用时间或者处理的数据量来付费。向客户提供分析服务(分析报告或者人工服务费)。直接卖加工后的数据。

行业DaaS平台:服务行业巨头需要释放数据价值获取更多数据:

  1. 行业数据的提供
  2. 行业数据分析的结果
  3. 对数据进行分析
  4. 数据驱动产业变革
  5. 数据门户:服务小企业

需要DaaS新的云化有数据的环境

  • 工具
  • 数据

DAAS展望

通过利用BDAAS对所收集的大量个人数据进行分析,客户能够更加有效地发现和吸引潜在客户。这类服务有数千家中小型企业级使用者,将目标对准了潜在消费者可能存在的相关利基市场。亚马逊的AWS以及谷歌的AdSense和AdWords,Acxiom都可归为这一类,属于其中的佼佼者。随着软件即服务的流行,我们越来越习惯在虚拟环境中通过web界面来工作,将分析整合到这个过程中也就成了自然而然的下一步。我们已经能看到:很多之前认为大数据遥不可及的企业,现在都看到了大数据项目的可行性。

如何做DAAS

  • 数据源:专注在IT能力比较弱,但是数据价值较高的行业客户上;
  • 数据云化:强调数据管理的云化;
  • 数据产品SaaS化:为可以接受SaaS服务的客户提供数据产品

DaaS(数据管理服务)的技术整体架构

(图来源百分点科技)

管理的具体措施

(图来源百分点科技)

数据的积累、挖掘、整理、利用,是现代企业所必需的基本素养,没有它,你的企业将无力面对未来的竞争。数据在云端的管理开始变得更加重要,很多软件企业开始思考数据在云端的交互,这样对于数据流通有天然的氧吧。数据服务(DAAS)虽然今天看起来还很模糊,缺少法律支撑,缺少数据流通技术支持,缺少成功案例,缺少企业涉足,但我们坚信:

1) 数据流通必然需要很多专业的公司提供服务;

2) 数据的流通必然会节省整个社会的生产成本。

点击阅读原文,查看最火的50篇数据分析文章

原文发布于微信公众号 - CDA数据分析师(cdacdacda)

原文发表时间:2016-10-25

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏华章科技

老司机的经验之谈:关于数据分析的四个陷阱

原文:4 Lessons Learned From 4 Years Of Non-Stop Data Analysis

752
来自专栏SDNLAB

为什么SD-WAN是实现数字业务的最佳方式

2156
来自专栏飞总聊IT

大数据那些事(36):后记

任何事物总有结束的时候。大数据这个系列到这里我就打算结束了。从最初开始写这个系列到现在也小半年了。时间之长远远超出了自己原来的预算。大约一个月之前的时候我开始考...

2968
来自专栏云计算D1net

为用户提供太多选择是云的致命缺陷吗?

过去几年涌现出了大批“颠覆性”的新型科技初创公司,它们扎堆进入市场,为小公司和大企业推出各种各样的软件即服务(SaaS)和应用软件解决方案。乍一看,这是个好消息...

3325
来自专栏云计算D1net

盘点云计算的六大商业模式

服务是什么?云服务是基于互联网的相关服务的增加、使用和交付模式,通常涉及通过互联网来提供动态易扩展且经常是虚拟化的资源。云服务指通过网络以按需、易扩展的方式获得...

1.1K4
来自专栏华章科技

未来五年,大数据将与云计算更加融合

很多初创公司都引入了云平台上的管理服务,按需部署自己的系统。大数据和云计算的融合往往是互联网公司的首先项,尤其是初创的软件和数据服务供应商。

1351
来自专栏携程技术中心

干货 | 数据分析在携程产品设计中的应用

作者简介 林传毅,携程旅行网资深交互设计,负责酒店产品和客栈通(www.kztpms.com)的整体设计。先后毕业于复旦大学计算机系和香港大学商学院,曾就职解放...

2987
来自专栏知晓程序

微信悄悄上线的 2 个小程序,暗藏一统社交电商的野心

1414
来自专栏程序员宝库

经济学人:Python为什么是编程语言中最skr的?

Python的出现让计算机编程语言不再是生僻的专业技能,而是常人都能学习和使用的万金油。

1482
来自专栏SDNLAB

SD-WAN领域16个热门网络产品

新的SD-WAN产品闪亮登场 随着网络蓝图逐渐向软件定义的方式转变,厂商们都发布了新的产品旨在降低成本,提高网络自动化并提高效率。 解决方案提供商需要着眼于新的...

40412

扫码关注云+社区

领取腾讯云代金券