专栏首页钱塘大数据【解析】一文读懂大数据产业链构成

【解析】一文读懂大数据产业链构成

导读:大数据的产业链构成大致可分为数据标准与规范、数据安全、数据采集、数据存储与管理、数据分析与挖掘、数据运维及数据应用几个环节,覆盖了数据从产生到应用的整个生命周期。

(一)数据标准与规范

  大数据标准体系是开展大数据应用的前提条件,没有统一的标准体系,数据共享、分析、挖掘、决策支持将无从谈起。大数据标准包括体系结构标准、数据格式与表示标准、组织管理标准、安全标准和评测标准。在标准化建设方面,参与单位主要包括中国电子技术标准化研究院、各个数据库公司、数据拥有部门以及各个行业的标准化组织。

 (二)数据安全

  随着海量数据的不断增加,对数据存储和访问的安全性要求越来越高,从而对数据的访问控制技术、加密保护技术以及多副本与容灾机制等提出了更高的要求。

  另外,由于大数据处理主要采用分布式计算方法,这必然面临着数据传输、信息交互等环节,如何在这些环节中保护数据价值不泄露、信息不丢失,保护所有站点的安全是大数据发展面对的重大挑战。

  在大数据时代,传统的隐私数据内涵与外延有了巨大突破和延伸,数据的多元化与彼此的关联性进一步发展,使得对单一数据的隐私保护方法变得极其脆弱,需要针对多元数据融合的安全提出。

  在数据安全环节上主要参与单位包括中国电子科技集团公司第30研究所以及奇虎 360、瑞星等杀毒软件公司。

(三)数据采集

  政府部门、以 BAT 为代表的互联网企业、运营商是当前大数据的主要拥有者。除此之外,利用网络爬虫或网站公开 API 等途径对网络数据进行采集也是大数据的主要来源。

  现实世界中的数据大多不完整或不一致,无法直接进行数据挖掘或挖掘结果不理想,需要对采集的数据进行填补、平滑、合并、规格化、检查一致性等数据预处理操作,并且往往需要大量的人工参与,因此数据采集和清洗成为大数据产业链的一个重要环节。

(四)数据存储与管理

  大数据存储与管理的主要参与者以传统数据库企业为主,国际上主要有 IBM、Oracle、Intel、Green-plum、infor Matri Cloudera 等;国内主要有中兴、华为、用友、浪潮、托尔思、数据堂、九次方、亿赞普、达梦等。各家企业针对大数据应用开展各具特色的数据库架构和数据组织管理研究,形成针对具体领域的产品。

(五)数据分析与挖掘

  大数据分析与挖掘的意图主要集中在两方面:

   一是从大量的机构结构化和半结构化数据中分析出计算机可以理解的语义信息或知识;

   二是对隐性的知识,如关联情况、意图等进行挖掘。常用的方法包括分类、聚类、关联规则挖掘、序列模式挖掘、时间序列分析预测等。

  数据分析与挖掘的核心算法与软件主要掌握在大型数据库公司及高校的手里,国际上主要参与者包括 IBM、甲骨文、微软、谷歌、亚马逊、Facebook 等,国内主要参与单位包括数据库企业、高校、以 BAT 为代表的大型互联网企业等。数据分析与挖掘的能力直接决定了大数据的应用推广程度和范围,是大数据产业的核心。

 (六)数据运维

  由于数据的重要性得到普遍认可,除政府部门不具备数据运维服务条件外,数据的采集者通常就是数据运维者。各地政府方面则通常利用大数据平台建设来推动政府大数据的公开与共享,如云上贵州,吸引个人和企业用户开展创新与创业,积极推动大数据的增值服务。

 (七)数据应用

  大数据对传统信息技术带来革命性挑战,正在重构信息技术体系和产业格局。国内以阿里巴巴、百度、腾讯、人大金仓、浪潮、曙光、南大通用为代表的互联网企业、云计算和数据库厂商纷纷加大应用推广力度,在国际先进的开源大数据技术基础上,形成独自的大数据平台构建和应用服务解决方案,以支撑不同行业不同领域的专业化应用。

  虽然这些企业在平台构建上有着得天独厚的优势,但是在某些具体业务领域,并不擅长或者关切。传统企业以及从事大数据的微型企业是具体业务领域上大数据应用的主力军。应用是大数据价值的体现,是大数据发展的原始推动力。

  当前大数据的应用正倒逼软件技术、数据架构、数据共享方式的转变,在转变思维过程中需要积极转变思维,明确出数据共享的方式是什么,数据拥有者的利益如何平衡,商业模式如何开展等。

  目前来看,许多企业在大数据产业链里仅拥有一项或两项能力是完全不够的,只有将大数据产业链融合连通才能催生更大的市场和利润空间。在大数据推动的商业革命浪潮中,只有打通数据流通变现的商业模式,才能创造商业价值,从而在大数据驱动的新生代商业格局中脱颖而出。

本文分享自微信公众号 - 钱塘大数据(qtbigdata)

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2017-01-09

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 【钱塘号专栏】大数据时代的掘金之道:精准营销、价值变现

    一石激起千层浪,国务院发布的2015 第50号文《促进大数据发展行动纲要》刷满了朋友圈,特别是其中提到了大力推动政府部门数据共享,稳步推动公共数据资源开放。20...

    钱塘数据
  • 【大咖说】大数据是一种全新的材料,不是另外一种高科技

    大数据是一种全新的材料,它不是另外一种高科技,只要找到了合适的方式使用它,它在哪里都可以使用。如果把大数据当成是一种材料的话,你会发现,大数据带来的问题是全方位...

    钱塘数据
  • 大数据“十三五”规划望年内发布 万亿盛宴开启

    读:在信息化高速发展的年代,大数据正深入改变着人们的思维、生产和生活方式,大数据与各个行业的深度融合,将创造出前所未有的社会和商业价值。作为引领DT(数据处理技...

    钱塘数据
  • 大数据变现的9种商业模式,你走哪条?

    大数据产业具有无污染、生态友好、低投入高附加值特点,对于我国转变过去资源因素型经济增长方式、推进“互联网+”行动计划、实现国家制造业30年发展目标有战略意义。那...

    华章科技
  • 【观点】腾讯的实践表明:最重要的不是大数据,而是……

    当下中国,大数据是个热词。大数据是怎样发挥价值的?关注到腾讯近日发布的大数据报告《95后迷之隐私观大揭秘》,记者走进位于深圳的腾讯总部,走进那些让数据“活”起来...

    小莹莹
  • 【观点】大数据与统计新思维

    译著《大数据时代》( 英国 ViktorMayer-Schǒnberger,Kenneth Cukier 著) 和《驾驭大数据》( 美国 Bill Frank...

    小莹莹
  • 漫画 :戏说大数据 感受数据的力量

    ? 过度使用数据,却可能是在寻找不相关因素之间的相关性。 ? 统计学家给每个人赋予了关于问题的知识。 ? 你听说过“数据让你自由”这个说法嘛?数据总是诚实的,...

    小莹莹
  • 【数据思维】明略数据吴明辉:忘掉你的大数据,数据思维才最重要

    10月11日晚,北京明略软件系统有限公司董事长吴明辉先生结合自身丰厚的实战经验以及车品觉老师书作《决战大数据》就大数据实战应用为庐客汇“12+50”会员带来了一...

    陆勤_数据人网
  • 【数据科学家】养成方案 9步从菜鸟成为数据科学家

    由于数据科学和数据分析是个快速发展的领域,当前的合格申请者严重缺乏。这使得数据科学家对于那些有兴趣,并寻找新的职业生涯的人成为有前途的和有利可图的领域。 ? 漫...

    陆勤_数据人网
  • 张涵诚:大数据驱动企业的创新发展与管理变革

    大数据时代的到来,带给了每一个行业实实在在的冲击和挑战。大数据就像蒸汽时代和电力时代蒸汽和电一样,不仅仅是一次简单的技术和生产力的创新,而是引发了整个生产模式的...

    数据猿

扫码关注云+社区

领取腾讯云代金券