企业大数据应用体系优化与转型

2009年，Gartner发布2010年全球Top10技术趋势，高级分析取代上一年列第二位的BI，成为2010年第二位新技术；2011年，麦肯锡全球研究院（MGI）发布了报告《大数据：创新、竞争和生产力的下一个前沿阵地》，预测高级分析这一职位对于数据科学家人才的需求缺口到2018年将达到14万～19万。从此，数据科学家成为最抢手的职业，以大数据为花名的数据科学得到了全球从政府到各行各业的青睐，并因此得以持续迅猛发展。

那么，如今企业的大数据战略是否大获全胜？我们来看看MGI回顾2011年大数据报告中对于数据影响所做预测的最终实现情况，如图1所示。

图1 2011年MGI研究报告所预测大数据潜在价值的实现情况

来源：The Age of Analytics: Competing in A Data-driven World; MGI

从图1中可以发现，除基于位置数据与美国零售业实现的大数据潜在价值超过30%外，其他如制造业、欧盟公共事业部门以及美国健康护理业所实现的大数据潜在价值只达到预测值的10%～20%。大数据潜在价值实现远不如预期的主要障碍在于：分析人才缺乏、公司内部数据筒仓式分布、领导对于潜在价值的怀疑、大数据从原型系统到实践还存在很长距离等。

另外，Gartner 2016年曾估计，60%的大数据项目遭遇失败，但一年之后，他们表示60%的估计太过保守，这个数字又调整为85%。那么，对于电信企业来说，大数据战略的发展情况如何？由于电信企业的业务和网络运营数据天然条件较好，因此小数据时代已经经历过统计报表分析、数据仓库多维分析和数据挖掘高级分析以及相应的市场经营分析系统、客户洞察系统和营销自动化系统等B I 及专家决策系统等数据科学及数据工程的充分发展与积累；五六年前，各大企业纷纷采集用户互联网应用和浏览网址信息，并基于Hadoop研发建设大数据系统；三年前，AlphaGo打败人类围棋世界冠军，企业又转向人工智能技术，纷纷上线各种智能运营系统。而从大数据应用来看，最初各企业列为首位的“大数据作为业务向外提供运营”的战略并未完全实现；从大数据技术来看，无论是智慧运营系统还是大数据挖掘系统，数据建模并未用到代表大数据技术的高级分析和机器学习技术，绝大多数情况下更多地停留在Hadoop平台的建设和对大量数据采集、存储和简单处理的应用上；从数据原材料来看，对采集到系统中的文本等非结构化数据也是进行结构化处理，基本上用作为客户打上求同不存异的标签，而非针对微目标定位和超个性化应用的存异不求同的个性化特征刻画。

当然， 也有一些成功的支撑企业运营管理的大数据系统，比如，某省网管部门采集DPI、KPI、CDR、CHR、测量报告MR、信令、终端、告警等300多个数据源，建立基于大数据的网络智慧运营平台及系统，实现4G网络精准测评、自动调优、客服支撑等。从结构化半结构化数据源的采集、处理、整合和存储，到基于高级分析乃至机器学习技术的分析，再到嵌入企业实际网络运营管理流程并支撑客户服务的应用，都算是真正的大数据系统。

今天，企业又在转而纷纷研发建设人工智能赋能平台，那么，大数据这一金矿是否已经枯竭，不再值得企业投入人财物进一步挖掘？答案显然是否定的。我们来看看MGI对于美国大数据人才到2024年供应与需求的缺口情况，如图2所示。

图2 预计数据科学家的培养数量不足以满足对数据科学家的最高需求

美国数据科学家的供应和需求数量（千人）

来源：The Age of Analytics：Competing in A Data-driven world，MGI

如果说MGI有关2018年大数据人才缺口的预测引发了全球大数据热潮的话，那么MGI对2024年数据科学人才缺口达25.3万的预测则说明大数据远未退潮。

下文笔者阐述了这些年大数据发展的一些误区，并在分析大数据发展趋势和当前机会的基础上，提出调整并优化大数据应用体系的架构和相应流程组织的转型策略，以充分发挥其在电信企业的巨大潜在价值。

大数据发展误区

误区一：大数据定义模糊

当人们谈论大数据时，有的人认为大数据就是大量互联网信息的检索，尤其是社交媒体上对于个人所发布信息的监控、筛选、过滤和屏蔽；还有人认为就是上购物网站时推荐的我们需要或不需要的商品；也有人把大数据当成信息的代名词，认为一切信息构成了大数据。当然，也不乏专业人士将原来的统计报表和统计分析干脆一并代以大数据称呼。

那么，大数据应该如何定义？大数据概念其实包含三层含义：第一层指的是数据，结构化数据只占10%～20%，而非结构化数据占到80%～90%；第二层指的是不同来源的数据采集、处理和整合及相关技术和应用，比如，只需采集信令数据对所有主叫号码进行合计，就可以简单依照“超过一定阈值的高频呼叫是营销电话”的规则开展来电提醒服务，还有很多年来业界都将Hadoop作为大数据的代名词；第三层指在对不同来源的数据采集、处理和整合的基础上进行数据分析，然后将经分析得出的数据洞察结果应用于比如企业运营管理决策支撑中。

所以，当我们谈论大数据问题时，首先需要界定我们谈论的是大数据的哪个层面的定义。

误区二：对于大数据价值的误解

大数据和大数据技术本身并无价值，只有通过大数据技术对大数据进行处理、整合、分析，从大数据中得出模式的洞察或实现对未知的预测，支撑运营决策，才有价值。笔者认为，数据的价值远不止个体数据本身，而是数据之间的关系所隐含的知识。对于企业来说，以往自身业务生产管理系统可能留下个体用户购买使用本企业产品的信息，比如，电信公司保留客户购买、使用和服务的交互信息，如今，因为企业与客户的接触渠道和界面越来越丰富，这些渠道承载着客户与企业之间、客户与品牌之间、客户与产品之间以及客户与客户之间的大量互动信息和数据，如果能够整合这些数据，企业就有更多的机会对潜在客户和现有客户做更全面深入准确的分析与了解。客户洞察能力越强，对于以客户为中心的企业来说，也就有了企业经营管理决策甚至将实时客户分析结果嵌入生产运营流程的重要支撑手段。

大数据热潮的近十年好时光已经过去，可惜很多企业对于大数据价值依然停留在基于大数据第一、二层定义理解而制定的战略以及战略实践上，并未随着时间的推移上升到大数据的高级分析支撑，比如微目标定位和个性化营销应用上。

对于大数据价值的认知误区必然导致大数据潜在价值不能充分发挥，也就必然阻碍大数据的进一步发展。

误区三：忽视了大数据生态的建立

数字化可以改变传统的供需关系和供需平台，使得运营流程缩短、运营效率提高，通过重构行业竞争力带来行业颠覆的巨大影响，大数据则更直接体现在对于企业的影响上，用数据说话，支撑运营管理决策更及时、更准确、更有效和更高效地制定，因此，助推企业运营的质量和效率而导致数据和分析成为企业新的竞争力，也间接对行业竞争格局的重构造成一定影响。

但是，无论数字化和大数据，要发挥其潜在价值，必然要形成一定的生态。

比如，从外部生态来看，大数据的价值不在于数据本身，而在于数据经联结和整合生成数据之间能够描述现实运营中各实体间错综复杂的关系而具有的价值，显然，关系越翔实数据就越具价值，所以，需要企业和企业、企业和政府、行业和行业联合建立并完善全社会大数据共享的生态。

而从企业内部生态来看，数据和分析正在改变企业竞争的基础，这些能力也正在渗透进企业的运营管理决策流程中，企业将发现其面临的从数据和分析获取价值的最大挑战是企业自身的流程和组织，因此必将聚焦于对决策流程进行重构，引进相应人才、技术和能力，实现基于数据驱动型洞察支撑的决策生态，最终实现大数据的潜在价值。

若只是将大数据作为一项IT技术或能力，却没有在企业内外部建立相应的数据驱动型洞察支撑的决策应用生态，就不可能实现大数据的价值。

大数据新的发展趋势

趋势一：从原始数据或从数据经采集和简单整合处理加工所获得的价值日趋降低，而基于对多个数据源进行采集整合基础上高级分析的客户洞察所获得的价值越来越高

数据变得越来越容易采集，存储成本也不断降低，以前物以稀为贵的数据正变得更趋消费品化。另外，过去十年大数据产业野蛮生长，很多企业不经用户授权就随意采集、滥用甚至出售用户的个人及网络行为信息，不过，随着2018年5月《欧盟数据保护通用条例》（General DataProtection Regulation，GDPR）的正式实施，个人数据保护进入了一个新阶段，在很大程度上推动了大数据产业从粗放转向合法合规的更精细运营。从国内情况看，今年以来，已有数家大数据公司被查，这表明，希望从原始数据或从数据经采集和简单整合处理加工所获得的价值日趋降低，甚至这条路已经走不通了。

大数据最值得期待的价值、机会最大的领域是分析。比如，分析提供商早知道大数据价值由洞察产生，而数据分析工具像其他软件一样已掌控大量利润。为支撑决策，企业将分析工具与商业洞察进行整合，能够使价值进一步倍增。另外，分析人才的缺乏也正在抬升分析服务的成本。而数据集成商也正致力于整合客户数据并将分析作为服务，比如IBM Watson。

趋势二：大数据从最初的技术创新转向应用创新，同时，大数据应用不仅推动了企业决策支撑技术和能力的创新，还进一步推动企业决策流程及相应组织架构的创新，打破企业筒仓式的条块架构

大数据发展之初，最早是应用Hadoop、MapReduce和NoSQL等大数据存储和处理技术，但随着大数据平台在企业的纷纷建立，大数据应用变得越来越重要。

起初的大数据应用是按照企业现有条块组织分职能部门的应用，比如分营销、销售和服务不同职能的市场运营决策支撑应用，但随着应用越来越深入，不同职能部门发现不同职能的运营决策对于客户洞察存在共同的分析需求，而且如果将分散在不同职能部门的客户数据整合在一起，信息量更大，对客户的理解更全面、特征刻画更深入，于是产生了跨不同职能部门建立企业唯一客户视图的需求。

随着跨不同职能部门的企业唯一视图的建立及其应用的开展，企业将发现原有的条块分割的筒仓式组织和流程可能影响决策效率的提高。大数据支撑决策原本就是要改善决策，使其更及时精准和高效，如果原有建立的基于直觉决策的流程组织不改变，不将大数据和客户洞察嵌入流程而依然让其游离于流程组织之外，只是以项目的形式支撑决策，那么就像跑车再快也不可能在乡间小路上全速跑起来一样。所以，为适应数据驱动型决策，真正提高决策效率，企业需要对原有决策流程和组织进行融合重构等管理创新，这也是大数据应用的一个新趋势。

趋势三：人工智能在算法和处理能力方面的进步，尤其是通过将机器学习应用到非常大型的数据集中中，赋能机器前所未有的能力，正进一步加速大数据的智能化和自动化

大数据分析一直以来倚赖各种分析算法、技术和手段，帮助人们在决策中解决描述性、预测性和处方性三大类问题。

人工智能技术，尤其是机器学习算法在大型数据集中的应用，进一步加速大数据的智能化和自动化。机器学习对于算法的支撑其实是相对于传统软件程序而言的。后者是由开发者对于他们所需要执行的任务指定特定指令的硬编码，这类由上至下的指令指导具有局限性，一旦情况改变，软件程序也就失效了。因此，需要创建能够从数据进行学习的算法，也即无需重新明码编程就可以适应新情况。

机器学习支持的概念就是给算法以“经验”（训练数据）和通用的学习策略，然后让算法判定模式、关联关系以及来自数据的洞察，简言之，是训练系统而不是对其编程。由机器学习赋能的系统可以提供客户服务、管理物流、分析医疗记录，甚至撰写新闻故事。谷歌、脸书、Intel等数字化巨头以及GE等工业企业正在引领这些创新方向，将机器学习看作其核心商业和战略的基础。

总之，大数据技术或已成熟，但大数据应用正从低级应用转向高级应用，再加上机器学习技术的介入，大数据应用同时呈现出智能化和自动化趋势，两种应用进一步推动企业相关决策流程和组织的优化与创新。

调整并优化大数据应用体系，推动大数据应用转型和创新

回顾运营商过去五六年建立的大数据平台，既有成功的，也有不成功。究其原因，成功平台的最大特点是从平台建设之初就目标明确，应用明确；反之，不成功的平台则经常目标不明确,应用不聚焦，最初建设的时候需求包罗万象，建完后却发现所有需求都很难满足。若进一步研究会发现，企业大数据平台失败的原因与十二三年前企业BI（商业智能）系统失败的原因几乎一样，基于纯粹技术导向而不是基于明确的应用导向所建设的大数据平台，一般很难成功。

那么，该如何调整和优化大数据应用体系，实现大数据应用创新转型？

聚焦应用，推动大数据从技术创新向应用创新转型

今年5月，MapR传出裁员百余人并关闭硅谷总部的消息。MapR是全球三大Hadoop开源大数据软件提供商之一。去年，三家Hadoop开源大数据软件提供商的另外两家Cloudera和Hortonworks宣布合并。这表明，依靠技术创新推动大数据迅猛发展已告一段落，如今已进入大数据应用创新的新阶段。

过去几年，很多企业都建立了大数据平台，完成了大数据技术投资，所存储数据量达到几十甚至上百PB，也就是说，大数据供应侧的工作已经完成，接下来，则是在需求侧如何开展应用。如何从号称金矿的大数据中挖出金子，赋能企业运营管理更及时、有效、精准和高效决策，这是企业建设大数据平台的初衷，也是实现大数据投资回报的关键。一般企业大数据应用可总结为两个方面。

一是将自有数据向缺乏数据的企业提供，比如，内部数据资源丰富的电信企业向保险公司、广告公司甚至市场调查公司等提供所谓的正交数据，帮助这些企业利用正交数据与自身数据，更全面深刻地了解客户，判断客户价值和需求，并实现微目标定位、产品优化、价格制定等。

二是以客户为中心，整合出跨职能部门的全企业共享的唯一客户视图，基于唯一客户视图开展数据分析，实现客户洞察，实现对企业运营决策用数据说话的精确运营管理支撑，这类应用又分为两大类：（1）内部成本和收益优化决策支撑应用。比如，在成本侧，数据可被用于预警性维护、人才和流程管理及规划；在收益侧，基于数据的客户洞察可被用于新市场进入、客户细分的微定位、产品功能完善以及渠道有效性的达成；而来自机器和流程的数据，尤其是来自物联网感应器和来自客户行为与交易的数据，对优化运营最有用。（2）营销和广告决策支撑应用。这些功能通常依赖于客户交易和行为数据与从社交媒体资料、人口统计信息、在线浏览历史以及历史购买等多个来源的数据，它需要采集大量数据才能获得洞察，而信息噪音的剔除能力非常重要。另外，因为营销和广告都随着人们的数字化生存而存在数字化趋势，要支撑相应决策和评估，传统数据不够全面，需要与具备大量消费者数字化生存及网络行为数据的玩家比如社交媒体公司等建立合作关系，围绕具体应用有针对性地获得相应第二方数据，补全客户数据视图或数据价值链。

结合机器学习，实现分析突破，推动大数据运营从数据粗加工到深加工的转型

大数据平台建立起来，相当于将数据原材料经过采集、清洗，存储到了一个平台，可供分析使用。就大数据价值而言，是指大数据对于最终用户或接收者有用。大家知道，混杂着大量噪音信息、未经加工的原始大数据对于企业运营管理决策者来说是没用的，因为没法用。而只有从数据中抽取出信息和知识，才叫有用。分析的过程，即为加工大数据并从中抽取出有用信息和知识的过程。通常来说，原始数据要成为信息，首先需要处理、整合、汇总和对比，也就是由分析人员或数据科学家针对决策问题所确定的数据结果的需求，通过分析加工，添加洞察、理解和知识到数据中，这样数据才变得有用。

大数据发展之初，各种互联网、移动互联网上涌现的大量数据确实缓解了很多企业长久以来数据匮乏的问题，但随着数据获得越来越容易、数据存储成本越来越低以及越来越多数据处理和简单分析技术的免费开源，从原始数据使用或数据粗加工中获取价值的能力已经不足以构成企业的竞争能力，转而对于更大量数据、更完整数据的深加工进行更精细的高级分析和客户洞察，成为发掘更多更深大数据价值的大数据分析战略要地。近年来，对于电信企业来说，随着AI的机器学习和深度学习技术的进一步发展和逐渐成熟，结合原有的高级分析手段，升级以下分析应用，成为实现大数据分析转型的关键。

一是预测性应用：个体客户的全生命周期价值及流失风险预测；呼叫中心单次呼叫的路径优化（更少人工处理呼叫）；区域性话音/数据流量需求趋势预测；后台能力及财务规划。

二是超个性化应用：基于多模数据（移动、社交媒体、位置等）针对个体消费者的1对1个性化营销策略。

三是资源配置应用：跨网络资本投资的优化；产品和价格优化，微型营销活动和短期促销活动的优化；一线人员劳动力配置优化。

四是新趋势/异常发现：利用移动及其他相关数据，发现消费者行为新趋势；故障预警，固定和移动设备的主动维护。

推动基于大数据的运营管理流程再造，落实大数据应用转型

大数据应用企业内部生态构建很重要，在MGI一个有关大数据研究的深度访谈中，一些访谈者表示，已经进行巨大的大数据技术投资，但是在充分利用投资所需的组织变革方面却失败了。很多企业挣扎于从原有传统数据系统向更精致灵活架构的转型，已存储和利用大数据。他们还需要将其运营实现更全面的数字化，从客户交互、供应链、设备和内部流程获得更多数据。而其他很多公司在数据和分析多维度转型方面处于落后状态，障碍也大多是组织流程方面的问题。对于企业的大数据应用体系架构和流程再造来说，第一个挑战是将数据和分析融合进企业的核心战略愿景。第二个挑战是开发合适的商业流程并创建相应的能力（不仅包括数据基础设施，更包括相应的人才队伍能力）。只在现有商业运营顶层简单地将强有力的技术系统分层还不够，所有这些转型因素需进行有机整合方可实现数据和分析的全部潜能。

对于传统企业来说，大数据走到今天，需要重新调整并优化大数据应用体系，并将大数据应用从数据源到客户洞察应用等价值链的各个环节都能有效嵌入企业运营管理决策流程中，可按照以下五个步骤进行相应的大数据应用转型。

步骤1 ：提出一些基本问题勾画战略愿景——数据和分析将可用于什么？洞察将如何驱动价值？价值将如何衡量？

步骤2：调整并构建基础数据架构，丰富和增强数据采集或数据生成能力。

步骤3：内部培养或外部取得从数据中获得洞察所需的分析能力。

步骤4：将业务流程转变为将数据洞察融合进实际工作流中，也即具备相应的大数据应用流程，能将合适的数据洞察及时高效地传送给合适的工作人员。

步骤5：组织需要培养高管和中层管理人员了解如何利用数据驱动型洞察的相关能力，并开始依靠他们作为决策的基础。

这可能是一场困难的转型，但是一些传统企业，包括GE和联合太平洋都已经设法在努力实现大数据应用转型。对于近20年来在数据分析能力方面已占先机的电信运营商来说，当前进行大数据应用体系的调整优化和流程重构，也就成为今后能否进一步实现大数据价值，并通过大数据分析形成自身竞争力的至关重要的问题。

文章作者：中国电信研究院 漆晨曦

文章来源：《通信企业管理》杂志

文章内容系作者个人观点,不代表融智未来公众号的观点或立场。