好文章 | 掘金大数据产业链：上游资源+中游技术+下游应用

【背景】 我们正处在一个数据量爆发增长的时代。 在摩尔定律长达50年的支配下，当今的信息产业呈现出前所未有的繁荣，新的互联网技术不断涌现。从传统互联网的PC终端，到移动互联网的智能手机，再到物联网传感器，技术革新使数据生产能力呈指数级提升。据IDC预测，目前每年数据的生产量是8ZB（1ZB=1012GB），2020年将达到40ZB。属于大数据的时代已经到来。

数据产业有望呈现“线上数据化→线下数据化→数据流通“三段式发展过程。

1、线上数据化：互联网1.0时代，以互联网企业为代表，最早沉淀线上数据； 2、线下数据化：“互联网+”时代，以传统线下企业为代表，借助互联网实现数据化； 3、数据流通：在线上/线下全产业实现数据化的趋势下，数据在产业链上下游甚至跨产业流通并创造价值。

数据开放大势所趋。

信息使用的边际收益是递增的，信息流动和分享的范围越大，创造的价值就越高，而线上/线下数据化和数据开放正是信息大范围流动的两大前提。推动数据开放和流通在发达国家已成为共识，美欧多国通过国家战略为数据开放背书。自从“互联网+”上升为我国战略后，中央不断加大力度推动数据开放，在地方政府和产业界的带动下，部分地区已经做了诸多有益的尝试。

从“流量思维”到“数据思维”。

表面上看“数据思维”取代“流量思维”是为迎合技术发展而发生的态度转变，但更深层次，从流量到数据是对整个互联网经济的重新定义和洗牌，两种思维分别是两代互联网经济的代表。

1、思维本质：从优化资源配置到生产核心资源。第一代互联网重构的是时间、空间，本质上是资源的优化配置；而第二代互联网的核心是数据，数据成为了新的生产要素。 2、经济价值：从流量的天花板到数据的万亿空间。流量时代，互联网撬动的GDP约为2.5万亿人民币（2013 年），占到国内GDP总量的4.4%；在经历了第一代互联网时期的爆发式增长，BAT等互联网巨头的流量规模已经形成，变现方式单一将导致流量变成一种相对廉价资源；数据思维时代，企业将从单纯追求“量”向追求“质”转变，大数据能够帮助企业从有限的流量中挖掘更大的价值；根据我们的推算，大数据有望撬动中国GDP至少在万亿量级，将完全比肩流量经济。

数据流通的两种模式：闭环生态、开放交易。

模式一：“内部创新+外延并购”形成闭环。典型公司：阿里巴巴等互联网巨头。这一模式可以理解为，以大型互联网公司拥有的海量数据资源为根基，通过内部创新和外延并购构建闭环生态，推动数据在闭环中流动以创造价值。从“数据魔方 （卖数据）→达摩盘（大数据营销平台）→入股第一财经（闭环生态区圈）”的发展路径可以洞悉阿里逐步收缩的大数据战略。

模式二：打造开放的大数据交易平台。典型平台和公司：贵阳大数据交易所，九次方大数据公司等。贵阳大数据交易所是全球第一家大数据交易所，由政府和产业界共同发起成立，将引领中国大数据交易市场的发展，九次方作为其第二大股东，将成为积极推动大数据开放交易的先行者。

掘金产业链。我们将大数据产业链按上中下游划分为：资源、技术、应用。

1、“互联网+”时代，所有企业都有潜力发展成为数据资源公司，处于产业链的核心地位，数据是其持续变现的资本； 2、产业发展初期，数据技术型公司，包括硬件、基础软件、分析服务、信息安全等，是最直接的受益群体； 3、数据开放的趋势下，极有可能引爆新一轮大众创业、万众创新的格局，诞生具备创新式数据思维及突出技术实力的应用型公司。

上游资源： 任何企业都将可能成为数据公司

互联网+时代，数据资源型企业发展迎来历史机遇。我们在产业升级三段论中提到，大数据产业已经发展到了线下数据化的阶段。众多的互联网公司和线下企业在数据思维的驱动下，生产和存储着海量的数据资源，各类数据已然成为跑马圈地的主要对象。由于大数据资源未来将是企业价值的重要载体，我们甚至可以这样认为：所有企业都有潜力发展成为数据资源公司。

资源型公司处在产业链中的核心地位。BAT之所以能够在大数据时代继续坐稳互联网企业龙头的位置，是因为它们几乎垄断了搜索、社交、电商等关键领域的数据，并借此聚拢技术型、创意型以及其他资源型公司，构建由自己主导的生态圈。线下龙头企业在触网后同样能够生产丰富的数据资源，它们极有可能复制BAT在线上的成功路径。大北农结合猪管网、智农商城、农信网等打造的智慧大北农生态圈，即是传统行业龙头转型数据资源型公司的成功典范。

资源型公司拥有持续变现的基础。大数据资源将帮助一部分企业从订单型向运营型升级，交易不再是一锤子买卖，而是持续挖掘数据价值变现的动态过程。一些依托数据资源的运营型公司或将通过如下三步构建闭环：

1、公司与客户达成协议，共建信息化平台；

2、平台沉淀出大数据，公司对此具有使用权（甚至拥有权）；

3、公司利用这部分大数据资源，获取长期可持续的价值回报。

石基信息利用酒店管理系统获取的数据与阿里合作建立酒店预定平台、易华录以PPP的方式得到智慧城市的核心数据等，都是订单型向运营型转变的典型案例。

向数据资源型公司升级的浪潮已至，“大数据+”时代来临。我们认为，互联网+改革带来的价值和红利未来主要将以大数据的形式来呈现，“大数据+”将是这轮产业升级的根本目的和动力。在国家和产业界的大力推动下，消费、医疗、金融、制造业等各个领域均掀起了大数据的应用热潮。据统计，自“互联网+”战略提出以来，已有百余家A股上市的传统企业给制定了转型方案。我们精选出其中最有可能成功升级为数据资源型公司的标的，分行业列于下表：

基于以下观点，我们认为在互联网+时代，数据资源型公司的数量会迎来井喷式的增长，传统行业龙头可利用数据资源巩固自身地位，但其他公司也将获得弯道超车的机会。

1、互联网+对传统行业最直接的影响就是线上化后的数据化，且对数据进行存储、分析的成本在不断下降，因而互联网公司对大数据资源的垄断将被打破，行业竞争开启新格局；

2、快速转型的传统龙头企业将重新整合所在的细分行业，构建以自身为核心的生态圈，推动大数据在其中的流通，提升整个产业链的效率；

3、前正处于“大数据+”发展的早期，对这样一个明显具有网络效应的产业而言，抢占先发优势极为重要，数据资源的积累程度将直接影响企业在大数据时代的地位和影响力。

中游技术：大数据产业链最直接受益群体

大数据市场规模

Wikibon估测2014年全球大数据市场规模达到285亿美元，同比增长53.2%，大数据成为全球IT支出新的增长点；

而根据易观国际的测算口径，2017年我国大数据市场有望达到170亿元。全球大数据市场中，行业解决方案、计算分析服务、存储服务、数据库服务和大数据应用为市场份额排名最靠前的细分市场，分别占据35.4%、17.3%、14.7%、12.5%和7.9%的市场份额。云服务的市场份额为6.3%，基础软件占据3.8%的市场份额，网络服务仅占据了2%的市场份额。可以看出，大数据技术占据了绝大多数市场份额，将成为大数据产业发展的最直接受益者，但从更广义的角度来看，大数据带来的是社会多个领域的创新和变革，并将对传统行业进行改造，未来大数据应用领域的发展空间难以估量，据此，麦肯锡曾预测中国大数据潜在市场将达到1.57万亿元。

从公司层面上看，以IBM为首的IT巨头在收入上遥遥领先；创业型公司Cloudera、Splunk等的收入与巨头厂商仍有差距。2013年IBM大数据业务收入为13.68亿美元，HP和Dell的大数据收入分别为8.69和6.52亿美元，排在第二三位。三家公司的大数据业务均占总体收入的1%左右。收入最高的纯大数据公司为Palantir（为政府和金融机构提供数据分析软件服务），Pivotal（大数据集成产品，提供Hadoop，内存SQL数据库以及MPP等多种服务）和Splunk（大规模机器数据收集，存储，可视化分析），分别为4.18亿，3亿，2.83亿美元。

技术路径之争

大数据处理系统一般需要经过4个主要环节，包括数据准备、数据存储与管理、计算处理、数据分析。

1、数据准备：在进行存储和处理之前，需要对数据进行清洗、整理，传统数据处理体系中称为ETL（Extracting，Transforming，Loading）过程。 2、数据存储与管理：大数据存储系统不仅需要以极低的成本存储海量数据，还要适应多样化的非结构化数据管理需求，具备数据格式上的可扩展性。

3、计算处理环节：海量数据处理要消耗大量的计算资源，对于传统单机或并行计算技术来说，速度、可扩展性和成本上都难以适应大数据计算分析的新需求。分而治之的分布式计算成为大数据的主流计算架构，但在一些特定场景下的实时性还需要大幅提升。

4、数据分析环节：数据分析环节需要从纷繁复杂的数据中发现规律提取新的知识，是大数据价值挖掘的关键。

大数据解决方案基本可分为两类，由主流数据库厂商主导的传统方案升级：数据库一体机(例如 Oracle ExaData 以及 IBM Netezza 等)，以及以开源力量为主的大数据技术（以 Hadoop 为代表）。随着数据的海量化和快速增长的趋势不断增强，传统关系数据库技术表现出明显的不足，如何以合理的成本获得海量数据的高可用性已经成为现代IT领域的重大挑战。大数据对数据分析、计算和存储三个环节影响较大，需要对技术架构和算法进行重构，是当前和未来一段时间大数据技术创新的焦点。在所有大数据解决方案中，最为引人注目的是由主流数据库厂商主导的传统方案升级，以及以开源力量为主的大数据技术。两者是相互补充的关系。

目前大数据开源技术中使用最广的是Hadoop，一个能够对大量数据进行分布式处理的软件框架。Hadoop框架的核心设计是：HDFS和MapReduce。HDFS为海量的数据提供了存储，提供高吞吐量来访问应用程序的数据，适合那些有着超大数据集的应用程序。而MapReduce为海量的数据提供计算，它将单个任务打碎，并将碎片任务(Map)发送到多个节点上，之后再以单个数据集的形式加载(Reduce)到数据仓库里。基于以上特点，用户可以轻松地在Hadoop上开发和运行处理海量数据的应用程序。

Hadoop是大数据行业应用最广的分布式系统

产业链划分：硬件+基础软件+分析服务+信息安全

硬件领域，主要包括服务器和存储两个重要组成部分：

1、服务器方面，大数据应用拉动服务器销量增长，国内厂商的市场占有率进一步加强。IDC报告显示：中国X86服务器全年销售额350亿元，同比增长29.7%，再次成为全球增长贡献最大的市场。本土厂商市场占有率较2013年提升了9.1个百分点，达到60.4%。同时X86服务器市场容量进一步向高端转移，四路高端领域出货量同比增长30%，达到市场平均增速的1.5倍。

2、存储方面，本土厂商市场占有率不断增加，入门级及中端存储增长速度快。IDC数据显示2015年第一季度，由于华为、宏杉科技、浪潮、曙光等本地厂商在市场和技术层面的井喷式发展，市场占有率已经达到49.9%，首次拿下国内市场的半壁江山。此外数据显示，存储市场在中低端保持了较高的增长，高端存储呈现萎靡状态，随着技术的演进，更多高端存储将被通过中低端存储Scaleout的解决方案替代，进一步为本土厂家提供机会。

基础软件领域，外国厂家占有绝对优势，技术是核心竞争力，由于基础软件以开源软件为主，市场规模有限。

Wikibon预计到2017年Hadoop和NoSQL软件/服务收入将达到约35亿美元，其中，Cloudera(Hadoop)和MongoDB(NoSQL)是相关领域的代表性企业。

在Hadoop 生态领域，Cloudera 是规模最大、知名度最高的企业，也是当前大数据领域最强有力的解决方案服务商之一。2014年4月Cloudera融资9亿美元，估值约41亿美元。2014年12月正式宣布在中国设立分公司，Cloudera免费版在国内市场已经占据了80%的份额，并有越来越多的用户转向收费的商业版本。MongoDB，原名10gen，是使用颇为广泛的MongoDB非关系型数据库的创建者，在今年年初的新一轮融资之后，估值已达到约16亿美元。

分析服务领域，是目前大数据市场最重要的组成部分，2014年市场规模占比达35%，而相关企业也得到了投资者的热烈追捧。美国知名的大数据分析企业包括Palantir和Splunk。Palantir是一家面向政府、金融机构的软件提供商，其估值已达到200亿美元，成为继Uber、Airbnb之后全美估值第三高的创业公司，关于Palantir，最传奇的说法是，它帮助美国政府找到了本·拉登。Palantir以反恐为切入点，如今，政府和金融业务已经成为Palantir的两大支柱产品，年收入预期至少在10亿美元。Splunk成立于2006年，是第一家大数据处理的上市公司，在首个交易日以109%的涨幅撑开了人们对大数据的想象空间。作为一家商业智能软件提供商，其软件平台可以实时对任何APP、服务器或网络设备的机器数据进行索引、监控与分析，并将结果生成图形化报表，在此基础上帮助客户避免服务性能降低或中断。

信息安全领域，随着大数据的发展重要性不断提升，大数据时代传统信息安全企业将面临新的机遇和挑战。随着大数据时代的到来，解决网络安全问题变得越来越难，传统防御威胁的手段已逐渐失效，大数据时代也被称作“大泄密”时代，PWC（普华永道）指出，2014年全球所有行业检测到的网络攻击共有4280万次，比去年增长了48%。诸多网络安全故障的发生，都表明大数据时代的安全问题日渐恶化，而企业在大数据应用前首先要考虑的就是数据安全威胁。因此随着大数据产业的快速发展， 信息安全领域投资规模也将不断扩大。

我们认为大数据技术型企业将最先受益于大数据行业的爆发式增长： 1、国产服务器厂商市场占有率不断增加，市场容量进一步向高端领域转移； 2、基础软件领域国外企业占有核心技术优势，国内企业主要集中于下游大数据处理分析领域； 3、主要厂商仍处于数据分析阶段，即订单驱动型商业模式，不具有数据运营权。但行业转型动力明显，主流数据分析型企业纷纷尝试直接获取数据资源或与数据资源方合作实现平台化发展，获得持续性收入；

4、信息安全依然是大数据技术发展的保障，行业需求将随整体市场规模的扩大而不断发展。

下游应用：数据开放将引爆万众创新

数据应用型企业位于大数据产业链的下游，通过对开放数据的运用或与数据资源型企业的合作实现大数据价值挖掘后的变现。相比资源型与技术型企业，应用型企业以新兴创业公司为主，先天带有互联网基因，专注于解决行业痛点，是实现大数据商业化的关键一环，按照终端用户又可分为2B和2C两类。

2B：面向企业或者公共政府部门，提供数据分析结果的服务，如交通流量数据公司Inrix。

2C：面向个人，提供基于数据分析的服务；如FlightCaster基于分析过去十年里每个航班的情况，然后将其与过去和现实的天气情况进行匹配，预测航班是否会晚点。

数据应用型企业可能同时手握大数据资源并拥有大数据分析核心技术，但与传统线下企业和IT企业不同的是，我们更强调创新式思维模式及数据变现能力。如 Netflix，美国最大的商业视频网站，拥有2900万个用户。每天采集海量的用户数据，不仅包括人们喜欢看什么类型的视频，在哪看，用什么设备看等，还包括你何时快进，何时暂停，是否看完整个影片等。Netflix 通过对海量数据的分析推出史上首部大数据制作的电视剧《纸牌屋》 。

数据应用型企业不等同于数据分析型企业，前者强调众包思想，具有独立的数据变现模式，可以与数据资源型企业共创价值，充分挖掘大数据开放流动带来的资源红利，体现了大众创业、万众创新的理念；而数据分析型企业则更像是外包商，为客户提供服务，是原有商业模式的补充。对于外包和众包，宝洁公司负责科技创新的副总裁Larry Huston评价道，“外包是指我们雇佣人员提供服务，劳资双方的关系到此为止，其实和雇佣关系没什么两样。但是现在我们的做法是从外部吸引人才的参与，使他们参与到这广阔的创新与合作过程。这是两种完全不同的概念。”外包强调高度专业化，是企业的购买活动，而众包则是跨专业创新的过程，应用型企业与资源型企业不是雇佣而是合作关系。

政府数据开放为数据应用型企业提供了发展良机，数据的开放和流通，将极大促进数据价值释放，掀起新一轮大众创业、万众创新的浪潮，不亚于当初的移动应用及手游开发。关于政府数据开放一个典型的例子就是1983年美国将用于军事的卫星定位系统GPS向公众开放使用，并且在2000年后取消了对民用的GPS精度的限制。GPS数据开放后，带动了一连串的生产和生活服务创新，包括汽车导航、精准农业、通信等，同时创造了大量就业岗位，仅美国国内就有约300万的就业岗位依赖于GPS。再看互联网开放平台为第三方企业创造的价值，以腾讯为例，腾讯希望成为互联网连接器，一端连接合作伙伴，一端连接海量用户，共同打造互联网生态，从2010年实施平台开放以来，截止2013年末，第三方收益达到50亿，今年有望突破百亿，创业者人数超过500万。我们认为类似于互联网开放平台所能创造的价值，依托大数据开放平台，在各细分垂直领域必将诞生一批“小而美”的数据应用型企业。

国外已有一些数据应用型企业深耕多年，涉及范围有交通、医疗、营销等。Inrix是一家典型的数据应用型企业，致力于为全球交通问题提供智能数据和先进的分析方法，截至2012年12月已经为全球32个国家的企业提供了服务。目前奥迪公司、德国汽车俱乐部、荷兰汽车协会、宝马汽车公司、英国广播公司、福特汽车公司、微软公司、丰田汽车公司和沃达丰公司等都是它的亲密合作伙伴。Inrix依靠分析历史和实时路况数据，能给出及时的路况报告，以帮助司机避开正在堵车的路段，并且帮他们提前规划好行程。

国内多数的数据应用型企业还处于初创阶段， 2014年底蓝色光标以接近2500万美元的金额认购数据营销技术公司精硕科技(Admaster Inc)约 12%的股份，后者估值超过2亿美元大关。AdMaste是国内少有的第三方数字营销监测和调研机构，专注于为广告主提供全流程的网络广告效果监测、分析评估、媒介优化咨询和技术解决方案等服务。在细分领域，国内影视大数据龙头企业艾漫科技于今年年初完成A轮超6000万人民币融资，这是迄今为止国内关于娱乐影视大数据领域最大的一笔A轮融资，由荣联创富基金和创势资本联合投资。

基于以下观点，我们认为数据应用型企业在未来几年将会进入快速发展阶段。

1、数据规模爆炸加政府助推数据开放，任何一个企业掌握大数据，都不可能只凭借其一己之力充分挖掘大数据的价值，势必应当群策群力。 2、政府、金融、电信、电子商务、物流、媒体等行业正迎来大数据应用井喷期，万亿市场规模可期，各大生态体系都将为新型企业崛起提供机会。 3、应用型企业兼具互联网/大数据思维与技术，相比传统企业，可以更快发现行业痛点并加以解决，实现弯道超车。 4、数据分析型企业转型动机强烈，希望参与大数据应用变现带来的巨大收益。

转自：36大数据

1、回复“数据分析师”查看数据分析师系列文章

2、回复“案例”查看大数据案例系列文章

3、回复“征信”查看相关征信的系列文章

4、回复“可视化”查看可视化专题系列文章

5、回复“SPPS”查看SPSS系列文章

6、回复“答案”查看hadoop面试题题目及答案

7、回复“爱情”查看大数据与爱情的故事

8、回复“笑话”查看大数据系列笑话

9、回复“大数据1、大数据2、大数据3、大数据4”查看大数据历史机遇连载

PPV课大数据ID: ppvke123 （长按可复制）

大数据人才的摇篮！专注大数据行业人才的培养。每日一课，大数据（EXCEL、SAS、SPSS、Hadoop、CDA）视频课程。大数据资讯，每日分享！数据咖—PPV课数据爱好者俱乐部！