专栏首页CDA数据分析师​重磅 | DAAS(数据管理服务)调研与简要分析

​重磅 | DAAS(数据管理服务)调研与简要分析

文| 张涵诚、陆骥

本文为作者投稿,转载请联系作者

背景

当前大家都知道:

1.数据交易市场的繁荣为时过早,数据加工和处理太过于分散化;

2.数据金字塔顶部的数据成为重要的资产,然后拥有者并不知道如何释放;

3.互联网数据聚合及释放数据价值的经验值得所有企业参考。

笔者团队经历对于DAAS的几个阶段,艰辛万苦,若有所思,现在把研究成果分享出来,以求大家反馈,研究研究再改进。

DAAS是什么

基本定义

  • Users can access vendor provided databases

用户可直接获取由BD公司提供的数据库

  • Users can host their own databases on vendor managed systems.

用户可在BD公司提供数据管理平台上处理自己的数据库

  • Users have the option to access data (their own and/or other parties) on a usage sensitive basis.

用户可以按照自身意愿对多源数据进行应用级别的分析处理

DAAS哪些公司在做

DAAS有哪些产品

Amazon EMR Core DaaS

  • Amazon Elastic MapReduce (Amazon EMR) 是一种 Web 服务,它简化了大数据的处理,提供托管Hadoop框架,可以让用户轻松、快速、经济高效地在多个动态可扩展的 Amazon EC2 实例之间分发和处理大量数据。
  • 用户还可以运行其他常用的分发框架(例如 Amazon EMR 中的 Spark 和 Presto)与其他 AWS 数据存储服务(例如 Amazon S3 和 Amazon DynamoDB)中的数据进行互动。
  • Amazon EMR 能够安全可靠地处理大数据使用案例,包括日志分析、Web 索引、数据仓库、机器学习、财务分析、科学模拟和生物信息。

Altiscale Performance DaaS

  • Altiscale通过将Hadoop的全部服务转向云端,并提供Hadoop即服务以减少Hadoop的复杂性;
  • 将Hadoop服务推向云端,意味着更广阔的受众,而客户在遭遇不可避免的问题时,完全可以依赖Altiscale的服务。由于Altiscale完全专注于Hadoop,因此解决问题的过程可以从几天缩短到几个小时。
  • 有的时候,Altiscale会在处理阶段自己发现问题,有的时候则是客户主动上报问题,因此客户并没有被迫要自己去追踪问题,然后留给Altiscale来解决。
  • 该产品被业界认为具有规模生产效应。

Qubole Feature DaaS

  • Qubole致力于解决基础设施冲突的问题,一旦互联网的政策到位,任何数量的数据分析都可以在Hive,spark、Presto等数据处理引擎的协助下实现一键访问,也可连接其他服务的API来导入数据。
  • Qubole简化、加快和缩减了处理存储在AWS、谷歌或者Azure云中的大数据分析的工作量,用户无需了解Hadoop系统管理,大大简化了大数据应用的复杂性,而且成本更低。
  • Qubole是一个企业级别的解决方案,它的灵活性使得它脱颖而出,成为一款相当值得使用的软件平台。

DAAS有哪些案例

DaaS案例 - 云平台

Amazon Elastic MapReduce 支持的功能包括

1)查看过此内容的人还查看过

2)要点回顾

3)键入搜索内容时自动完成词语

4)搜索拼写建议

5)热门搜索

6)广告

Yelp 每天运行约 200 个 Amazon Elastic MapReduce 作业来处理 3 TB 的数据,并借助AWS来帮助他们进行 Hadoop 应用程序开发,帮助Yelp节省 55 000 USD 用于前期购置硬件的资金,并且从设置到运行只需几天,而不是数月。

Yelp 使用 Amazon S3 来存储每天的日志和照片,每天可生成约 100 GB 的日志。该公司还使用 Amazon EMR 支持近20个单独的批处理脚本,它们当中的大部分都用于处理日志,开发人员可以集中精力应对其他挑战。

  • 1)DaaS案例-自建

Big data cloud service makes ad-hoc analysis easier in Hadoop.

  • 2)DaaS案例-技术输出到数据拥有者

IBM所提供的Twitter服务分析:IBM向企业提供访问数据和分析的渠道,查看Twitter每日5亿条推讯,还有2.8亿月活跃用户。此外,它还提供了一个叫做”firehose”的推讯分析工具与应用,将这些混乱的非结构化数据转变为有意义的信息;它还培训了4000名咨询师,协助企业将计划付诸行动以期获益。

苹果和IBM刚刚宣布,合作开设了一个大数据的健康平台。苹果手表的出现可能会使商用可穿戴设备成为主流,毫无疑问也会带来新一波BDaaS的应用爆发。预测将有数百万使用者进行各种操作,包括监控心率、安排社交日程、遥控家庭娱乐设备,从而造就大量的数据。然后苹果再找出新办法,将这些数据包装起来重新卖给我们。

  • 3)DaaS案例-自产自销

农业机械生产商John Deere,他为所有拖拉机配备了传感器,这些传感器会收集机械、土壤以及庄稼状况的信息,并将这些流数据传到MyJohnDeere.com与Farmsight服务上;从何时该订购备件,到哪里种植庄稼一应俱全,农场主可以付费订阅这些分析情报。

DAAS可能存在的商业模式

在使用DaaS时,理论上来说所有烦人的”基础细节”都不用再操心了(在组件和基础设施上的大量投入),企业也就可以专心解决业务问题。DaaS提供商承担合规和数据保护的成本,当数据存储到他们的云服务器上后,一切工作将由他们负责。租用他们基于云的存储与分析引擎,然后按使用时间或者处理的数据量来付费。向客户提供分析服务(分析报告或者人工服务费)。直接卖加工后的数据。

行业DaaS平台:服务行业巨头需要释放数据价值获取更多数据:

  1. 行业数据的提供
  2. 行业数据分析的结果
  3. 对数据进行分析
  4. 数据驱动产业变革
  5. 数据门户:服务小企业

需要DaaS新的云化有数据的环境

  • 工具
  • 数据

DAAS展望

通过利用BDAAS对所收集的大量个人数据进行分析,客户能够更加有效地发现和吸引潜在客户。这类服务有数千家中小型企业级使用者,将目标对准了潜在消费者可能存在的相关利基市场。亚马逊的AWS以及谷歌的AdSense和AdWords,Acxiom都可归为这一类,属于其中的佼佼者。随着软件即服务的流行,我们越来越习惯在虚拟环境中通过web界面来工作,将分析整合到这个过程中也就成了自然而然的下一步。我们已经能看到:很多之前认为大数据遥不可及的企业,现在都看到了大数据项目的可行性。

如何做DAAS

  • 数据源:专注在IT能力比较弱,但是数据价值较高的行业客户上;
  • 数据云化:强调数据管理的云化;
  • 数据产品SaaS化:为可以接受SaaS服务的客户提供数据产品

DaaS(数据管理服务)的技术整体架构

(图来源百分点科技)

管理的具体措施

(图来源百分点科技)

数据的积累、挖掘、整理、利用,是现代企业所必需的基本素养,没有它,你的企业将无力面对未来的竞争。数据在云端的管理开始变得更加重要,很多软件企业开始思考数据在云端的交互,这样对于数据流通有天然的氧吧。数据服务(DAAS)虽然今天看起来还很模糊,缺少法律支撑,缺少数据流通技术支持,缺少成功案例,缺少企业涉足,但我们坚信:

1) 数据流通必然需要很多专业的公司提供服务;

2) 数据的流通必然会节省整个社会的生产成本。

点击阅读原文,查看最火的50篇数据分析文章

本文分享自微信公众号 - CDA数据分析师(cdacdacda),作者:张涵诚、陆骥

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2016-10-25

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 如何识别虚假数据

    【摘要】好的决策应该是“数据驱动”的,但是如果数据有效性不好,就不可能据此做出好的决定。我的整个职业生涯几乎都在做市场调研和调查数据分析方面的工作,根据我的经验...

    CDA数据分析师
  • Python数据分析告诉你为何北京的二手房你都买不起!

    身为北漂一族,相信很多人也面临或者经历过工作,定居租房买房之类的。每个北漂心里一直想买一套自己的房子,而北京的房价却让人让望而却步。

    CDA数据分析师
  • 传统生意与产品,终将被大数据摧毁?

    文 / 吴晓波,本文来源于吴晓波频道 预测未来最好的方法,就是去创造未来。 ——亚伯拉罕·林肯 有一部影片叫《预见未来》,影片中尼古拉斯·凯奇饰演的男主角能够预...

    CDA数据分析师
  • 中华万年历头条数据聚合优化之路

    业务介绍 中华万年历的头条数据是根据推荐算法聚合而成的数据,包括ALS算法数据、用户画像数据、时效数据、非时效数据、定投数据、惊喜数据、频道数据、热榜数据、用户...

    CSDN技术头条
  • 什么样的大数据平台架构,才是最适合你的?

    技术最终为业务服务,没必要一定要追求先进性,各个企业应根据自己的实际情况去选择自己的技术路径。   它不一定具有通用性,但从一定程度讲,这个架构...

    BestSDK
  • 3月10日数据动态早报 | 平安WiFi融资5.5亿,开创”通信+金融”双盈利模式

    数据动态早报,让您了解数据新变化,新创造和新价值。 ? ---- 一、通信行业数据动态 1 平安WiFi融资5.5亿,开创”通信+金融”双盈利模式。WiFi作为...

    陆勤_数据人网
  • 数据猿专访 | 聚信立创始人兼CEO罗皓:想解救令人糟心的金融风控,“大数据”还有很长的路要走

    <数据猿导读> 2016年,大数据从商业科技、政府管理、医学、教育、经济等方方面面撼动着世界,其中,在金融领域的应用更是取得了令人瞩目的进展。然而,产业高速发展...

    数据猿
  • 【盘点】2016年国内大数据领域十大投融资事件

    数据猿导读 资本寒冬对于有些人来说,是地狱降临,是死期将至,但对于有准备的强者来说,却是机遇,是红海。数据猿小编就针对2016年大数据领域所有融资事件进行了梳理...

    数据猿
  • Python面试简历分享。

    分享前一段我的python面试简历,自我介绍这些根据你自己的来写就行,这里着重分享下我的项目经验、公司职责情况(时间倒序),不一定对每个人适用,但是有适合你的点...

    不断折腾
  • 链家与网易合作重塑房产交易市场,浪潮联合多家机构共建教育大数据实验室 | 大数据24小时

    数据猿导读 环境大数据公司“泛测环境”完成2000万元融资;用大数据重塑房产交易市场,链家网宣布与网易达成战略合作;物联网大数据公司“云基物宇”拟新三板挂牌上市...

    数据猿

扫码关注云+社区

领取腾讯云代金券