2021爱分析･数据智能平台实践报告-重构数据智能时代的数据基础设施

报告指导人

案例1 : 知识图谱平台助力建设银行防范金融风险 中国建设银行（以下简称建行）是一家拥有60多年的历史的老牌国有银行，总资产规模排名全球第二。作为国内最大的个人贷款和第二大信用卡发行行，信贷业务是建行业务体系中的核心，而风险预警则是为信贷业务保驾护航的重要环节。 近年来，随着建设银行信贷、信用卡等业务的快速发展，行内面临着越来越复杂的风控难题。一方面，行内数据量随之增大，个人之间、企业之间，以及个人与企业之间的关联关系变得更加复杂，另一方面，不法分子的各种反风控、反侦查手段层出不穷，因此传统的风险预警模式已经不足以识别很多金融风险。经过考察评估后，建设银行决定引入知识图谱平台来应对不断提高的风控难度，其知识图谱平台的建设主要分为两个阶段，各个阶段都有着不同的需求和挑战。 在第一阶段，建设银行主要是希望通过应用知识图谱实现对银行内金融风险以及一些关联关系的更快和更深层次的查询挖掘。在2017年底左右，市场出现了一些新型的假个贷，这类假个贷的特点是资金链路深，层级复杂，如果用传统的基于规则和SQL查询的方式识别这些风险，一是计算量大，很多复杂关系无法被识别，二是根据数据金额做SQL的模糊匹配其结果也往往不准确。 在第二阶段，建设银行在已经在几个项目上成功应用知识图谱的基础上，需要在行内构建统一的知识图谱平台，提供统一的对复杂金融风险、关联关系的查询和分析能力。在此阶段，建设银行面临的挑战主要有两个： 1） 建设银行的知识图谱平台建设开始是需求驱动，缺乏顶层设计，产生的问题是开始没有对需要使用到的关联关系做统一规划，没有设计出一个合理的底层的图数仓模型，对于知识图谱在哪些场景中去应用也缺乏统一规划和相应支撑。 2） 由于缺乏外部可参考的经验，建设银行对于如何做关系抽取，即哪些数据之间应该构建关联关系，哪些业务可以用到关联关系，以及某个关系构建之后，超过多少数据量需要分表等问题缺乏认识。 结合顶层规划与外部经验参考应对知识图谱平台建设的挑战 在知识图谱平台的搭建过程中，建设银行选择海致星图作为合作伙伴，与海致星图共同探索和建设知识图谱平台。 海致星图是一家专业的企业级知识图谱产品和服务提供商，自研了Atlas知识图谱平台、Atlas图数据库等产品，服务于金融、能源互联网、工业互联网等行业的企业。 建设银行的知识图谱平台建设主要在平台架构设计、关系抽取、应用场景规划三个方面解决了前期存在的种种挑战。 在平台的架构设计方面，知识图谱平台在建设银行的数据中台里的定位是为底层的原始数据做基础准备。在底层源数据之上，知识图谱平台会对数据做数据建模，抽取数据中的关系；然后将产生的完整的知识图谱网络存储在图数仓中；在之上是图分析和图应用平台，包括了图管理、图挖掘、各类图分析算法，以及多种知识图谱应用。这其中，海致星图提供的相关产品支持了建设银行知识图谱平台多层次的关系分析、灵活的二次开发、自动化关系展现等能力。 图 7： 建设银行知识图谱平台架构图 在关系抽取方面，海致星图为建设银行提供了深入的指导。具体而言，海致星图对建设银行应该构建哪些数据关系，如何构建这些数据关系，并对这些数据关系构建之后会出现哪些效果和问题，以及如何解决可能遇到的问题等提供了大量从实践中总结出的经验建议。 在应用场景规划建设方面，建设银行主要规划建设了五类应用场景。1）反欺诈：识别资金中介，拦截可疑交易；2）风险传导：对公客户出现不良或逾期时，预警提示风险可能传导到的干系方；3）资产保全和处理：处置不良资产时，查看不同债权方以及资产之间的关系；4）监管：给报送监管机构的数据做内部的勾稽关系检查；5）优化经营费用：识别套现党、羊毛党。 知识图谱平台落地的价值与效果 通过构建知识图谱平台，建设银行在风控和关联关系挖掘上实现了以下三点价值和效果： 1） 风险识别更精准。知识图谱可以对资金链路下探多层，且可以呈现图上各个实体之间的关系，建设银行因此能够比用传统方法更精准地识别金融风险，甚至识别出很多传统方法无法识别的风险。 2） 视图更直观。知识图谱识别出可疑交易、异常关系后，客户经理、贷中贷后人员可以在一张图上看清关系流向，便于快速和清晰地发现异常。 3） 自动化的展现。知识图谱平台能够对金融风险做自动化的识别和展现，因此减少了客户经理人工操作的时间，提高了风控效率。 建设银行知识图谱平台建设经验总结 1） 知识图谱平台建设应该由需求驱动，并从顶层进行规划和建设。在开始阶段要做好充分评估，设计出一个合理的底层图数仓模型，避免在后期因为数据模型考虑不完善要做大量调整而产生很高的成本。 2） 在数据模型、知识图谱的构建上要充分借鉴外部专家的经验。知识图谱的构建与业务高度相关，对于哪些业务数据之间应该构建关系，如何构建，数据关系会产生哪些业务价值等问题，甲方通常没有经验和认知，这就需要广泛地借鉴外部专家的经验。 3） 平台运营过程中要定期地做效果评价和回顾。有些数据关系在构建之后可能很长时间内都很少用到，因此在知识图谱构建之后需要对其做进一步的分析和评估，识别出没有意义的数据关系，有针对性地节约运算资源。

案例2 : 构建实时数据平台，满足城商行联盟实时业务需求 山东省城市商业银行合作联盟有限公司（以下简称“联盟”）是经原中国银监会批准成立，国内目前唯一持有金融牌照的中小银行金融科技服务公司。自成立以来，联盟以提升成员行信息科技支撑水平和风险治理水平为重点，为67家成员行提供核心业务系统的搭建以及数据化的服务。 随着成员行业务量的增长与业务场景的丰富，联盟实时数据处理能力不足的问题愈发显著。一方面，联盟承载了众多成员行核心业务系统的数据，数据加工压力大，数据处理与分发能力薄弱；另一方面，成员行对实时交易数据的查询，以及实时数据应用的需求愈发旺盛。因此，构建统一的实时数据整合和分析平台，实现实时数据处理与分发、实时交易计算与查询能力，成为了联盟的重要诉求。在实时数据平台搭建过程中，联盟在以下四个层面遇到了挑战： 1） 在项目规划阶段，如何设计合理的实时数据平台的架构。搭建实时数据平台，需要对联盟及成员行现有及未来一段时间内的业务需求做梳理，同时考虑联盟的IT现状，整合数据平台现有能力。 2） 如何构建实时数据处理能力。由于联盟承载了多个城商行的在线查询任务，且需为成员行实时营销、风险等实时业务的提供数据能力支持，因此需要为数据平台构建涵盖数据采集、数据计算、数据分发全流程的实时数据处理能力。同时，需要对实时指标和批量指标的协同调用做规划。 3） 需要解决数据计算逻辑复杂的问题。联盟提供的财务报表查询，CEP指标计算等服务，其数据计算逻辑复杂度高，需要相应的引擎支持。 4） 需要平台具备易用性和开放性。为了充分满足业务人员的使用需求，需要在数据建模、数据处理等多环节中，提供简单易用，并更为开放，满足灵活开发需求的服务。 基于对现有IT架构和业务需求的深度梳理，构建实时数据整合和分析平台 在实时数据平台搭建中，联盟选择与九章云极DataCanvas展开合作。九章云极DataCanvas成立于2013年，专注于自动化数据科学平台的持续开发与建设，提供自动化机器学习分析和实时计算能力，为政府及企业智能化升级和转型提供全面配套服务。 在该项目中，联盟的IT团队与九章云极DataCanvas共同合作，对联盟及成员行的IT架构与业务流程进行了全面梳理，为联盟构建了统一的实时数据平台。 首先，项目组基于对联盟IT现状和业务需求的调研，对实时数据平台的架构做了统一规划，主要涉及了数据接入、数据计算、指标管理和数据应用等环节。 图 8： 山东省城商行联盟实时数据平台架构 其次，联盟的数据平台从数据采集、数据计算、数据分发三个层面构建了实时数据的处理能力。在数据采集方面，除了使用Kafka消息队列传输数据，平台还对不同类型数据采取了不同采集方式，比如，对于大部分核心业务系统数据采用被动采集的方式，以降低业务系统高峰期的计算压力，对于APP的用户访问行为等数据，以及核心业务系统的数据库，则采用主动采集的方式；在数据计算方面，平台采用基于流计算框架，并结合分布式缓存为平台提供高性能的实时计算能力。此外，平台对于实时指标和批量指标做了梳理和管理，实现了流批一体化的数据加工能力；在数据分发方面，平台对成员行客户的在线数据查询需求以插件任务的形式做业务承载，对于成员行的实时业务数据需求，则提供了接口输出或数据库写入等灵活的数据分发模式。 针对复杂指标处理能力不足的问题，平台提供了指标引擎、规则引擎、决策引擎三大实时计算引擎。通过指标引擎可以做指标查询、指标分级管理，便于业务人员直接操作指标、加工逻辑定义等；规则引擎与指标配合，能够利用规则逻辑，进行规则加工，以实现风控等业务场景的落地；决策引擎则加入了机器学习模型，助力联盟及成员行实现了智能决策。 为了构建更加易用和开放的数据平台。平台一方面预置了大量的数据加工处理的算子，可以通过调用算子实现界面化配置的流程开发；另一方面，平台构建了“白盒”算子库，允许用户对算子进行优化和自定义，满足更加灵活多样的业务需求。 实时数据平台满足联盟数据及业务实时性要求 通过构建实时数据平台，联盟在实时数据处理能力和业务上实现了以下价值和效果： 第一，构建了实时数据的处理与分发能力。在接入联盟成员行的核心数据过程中，实现了交易的隔离和各个成员行数据权限隔离，提升数据分发安全性；数据分发流程化构建，实现了可视化的接入、分发、处理和运营监控，满足了数据处理与分发的实时性要求。 第二，完善了联盟实时交易计算及查询服务。2020年在手机银行业务基础上，联盟满足了汇总数据查询、明细查询、生产条件的筛选查询等实时交易的计算和与查询，实现了如收支分析、查找交易月度账单、模糊查询、标签修改、计入与不计入修改等个性化功能服务。 第三，完成了“T+0”实时五大报表的建设。平台将成员行五级机构、三级科目、30倍裂变数据处理的报表查询响应时长，从5分钟提升至“T+0”，完成了五大会计报表的实时计算和展现。 联盟实时数据平台建设的成功经验 1） 项目建设前期需对甲方的IT现状、业务需求等做梳理，规划合理的平台架构，将实时数据处理能力整合进现有平台。同时要保证平台架构的成熟和开放，以应对未来发展需要。 2） 实时数据平台建设需要聚焦技术目标，合理规划落地路径。项目方需要合理规划未来一两年内的业务需求，分阶段提出实时数据平台的建设目标，并构建相应能力。如联盟项目初期着重建设数据处理能力、解决实时财务报表问题。建设过程后期则重点解决实时数据和批量数据的整合，数据指标管理、数据分发等方面的问题。

案例3 : 实现数据拉通和统一汇聚，广东省应急管理厅构建数据治理能力体系 从2018年开始，随着应急管理部的成立，作为国家组织结构改革的一部分，各个地方也相继成立应急管理部门。广东省整合了包括安监、消防以及地震等部门，于2018年10月正式成立广东省应急管理厅（以下称“应急管理厅”）。 应急管理厅随后展开了应急管理信息化发展规划，推出了智慧大应急项目。项目的整体目标是为应急管理厅提供系统业务的运营服务，包括数据支撑、应用支撑以及数据服务等。 在这一背景下，应急管理厅与百分点展开了合作，由百分点提供数据支撑服务。百分点成立于2009年，拥有全栈的大数据和人工智能技术产品，包括大数据操作系统（BD-OS）和标签管理系统等基础引擎产品，以及智能审校系统等应用产品，涉及数字城市、应急管理、公共安全、生态环境、媒体出版、零售快消等多个领域。 应急管理厅成立之初，应急管理信息化建设主要面临以下三方面的问题和挑战： 1）系统众多，开发难。应急管理厅由原安监，以及消防、地震、森林、防火办以及减灾中心等部门转隶而成。这些不同的部门存在各自系统，并且彼此相互孤立，数据整合开发难度大。 此外，应急管理厅缺乏省政府其他部门数据，包括省和地方公安、水利、气象、林业、交通和自然资源等部门，需要进行数据协同和数据拉通。不过，出于对数据泄露、安全隐患、隐私保护等担忧，部分部门不敢或者不愿进行数据共享。 2）资源类型多，标准规范薄弱。应急管理厅成立之前，应急管理信息化的标准规范基础较薄弱，在感知采集、数据编目和数据共享、应用开发、信息安全等领域，缺少全省统一的技术标准、建设指南和管理规范。应急管理信息化建设涉及地震救灾、地质灾害、森林火灾、草原火灾和火灾事故等应急管理对象，数据标准不统一，导致系统对接、数据共享困难。 3）数据应用难度大。由于不同系统数据无法共享或者数据缺失、数据资源中包含大量如文本、遥感影像和音视频等非结构化数据，处理难度大、应用不足，无法充分挖掘数据的价值。 系统打通和数据汇聚，构建应急管理数据治理大数据平台 基于以上问题和挑战，百分点帮助应急管理厅构建了应急管理数据治理大数据平台，如下图所示： 图 9： 广东省应急管理厅数据治理体系及流程 通过该平台实现了应急数据接入、处理、存储、应用等全生命周期的治理，建设政务管理和监督管理数据资源池，实现对不同部委和单位相关应急数据全方位获取、全网络汇聚和全维度整合。在此基础上，对外提供数据共享交换、数据应用等服务，支撑应急管理部数据上报工作。 百分点提供的应急管理数据治理大数据平台的能力体现在以下三个方面。 1）针对系统众多、开发难的问题，百分点通过数据治理系统和数据共享交换系统，将各级相关部门和单位的数据进行汇聚融合，形成统一的数据资源池。 2）百分点以标准先行的原则，解决了应急管理标准规范薄弱的问题。百分点制定并完善相关数据标准及数据采集规范，设计了数据质量的检核规则，并沉淀到数据治理系统中，形成了贯穿数据接入、数据处理到数据服务的常态化治理和监测机制，推动数据标准的贯标及数据采集规范的落实。 3）在数据应用方面，百分点的大数据平台通过资源目录和资产视图等方式，实现数据的共享。百分点还针对应急管理厅的业务应用，梳理了相应的主题库和业务专题库，如安全生产、防汛防台和智慧应急等，通过对数据进行归类，为业务系统提供数据支撑服务。 咨询和技术能力相结合，助力应急管理厅提升数据治理能力 效果层面，应急管理数据治理大数据平台的应用价值体现在以下三个方面。 数据汇聚层面，基于数据资源池的搭建，实现广东省各地市政务服务和监督管理数据的汇聚，并监控、优化数据流转与业务链路。其中，针对政务服务类数据，完成政务办件、电子证照等20多类数据采集；针对监督管理类数据，完成执法检查、隐患排查、双随机等20多类数据采集。 数据资源标准层面，结合应急管理数据标准与数据归集规范，基于相关应急业务域，完成数据仓库建设，建立数据资源目录，形成数据共享能力。 数据服务层面，基于应急数据仓库，向应急管理部共享上报“互联网+政务”和“互联网+监管”数据，推动应急体系下各方资源整合，加速完成应急管理数据汇聚和数据共享工作。 总体来看，百分点能够解决应急管理厅的问题，是由于其不仅能够具备技术和产品能力，还能够针对具体业务提供落地和实操性强的咨询服务。 技术方面，百分点的大数据平台能够实现实时数据接入，如对于监测预警相关的数据，能够实现秒级的数据处理和数据上报，并保持平台的稳定性。此外，百分点的大数据平台具备自然语言处理以及知识图谱构建的能力，实现了对于文本和音视频等非结构化数据的处理和分析。 咨询方面，百分点长期服务政府客户的过程中，积累了大量业务知识，形成了一套完善的数据治理方法论。以完整的数据治理方法论作为支撑，百分点在数据汇聚、数据处理以及数据服务等环节中，能够基于一套完整的工序有条不紊地推进数据治理工作。 此外，百分点前瞻性的数据治理方法论设计使得应急管理厅通过此次项目能够达到持续的数据治理效果。以数据标准为例，百分点形成的标准体系不是基于现状打造，而是紧跟根据国家政策和国家标准体系，一般能够适用未来三至五年；与此同时，其标准体系还包含一系列的扩展性业务规则，保证了充分的灵活性。

案例4 : 某市搭建数据中台数据大脑，提升数据治理和大数据分析应用能力 某市推出了城市超级大脑项目。该项目的主要目标是建设市数据大脑，基于数据大脑提升数据治理能力和大数据分析能力，搭建起数据应用体系。 具体来看，该市的数据大脑平台遵循“五个一”（一个定位、一个平台、一个终端、一批项目、一大产业）总要求，按照“12345”的总体思路推进工作。即：建设一个大脑，提升两种能力，聚焦三大领域，突出四个重点，实现五大愿景。具体如下图所示： 图 10： 某市数据大脑平台建设思路 在这一背景下，该市与明略科技和腾讯云合作，打造了基于自身的数据大脑数据中台。 明略科技是一家企业级认知智能服务平台提供商，致力于通过大数据分析挖掘和认知智能技术，推动知识和管理复杂度高的大型企业进行数字化转型。明略科技的数据中台以云原生和数据资产图谱平台两大支撑能力为支撑，以多维数据的感知和汇聚能力、基于知识图谱的数据融通打通能力、基于智能数据引擎的数据自服务能力，赋能客户的中台建设，实现客户数据的资产化、智能化和服务化。 软件产品和咨询结合，助力该市搭建数据中台数据大脑 明略科技为该市提供了一整套解决方案，包括软件产品和咨询服务，后者包括数据治理咨询和数据分析咨询服务。 首先，软件产品方面，明略科技提供的数据中台产品主要包括数据汇聚平台、数据标准化平台、元数据管理平台、开发调度平台、用户管理平台及数据质量管理平台。以这些软件产品为支撑，该市搭建的数据中台能够实现数据全生命周期管理。 同时，在数据应用和分析方面，明略科技提供了知识图谱产品，实现大数据分析能力和模型智能构建能力的在线开放共享。 其次，在咨询服务方面，明略科技提供了数据治理和数据分析咨询服务。数据治理咨询包括五大方面： 第一，帮助该市数据资源管理局建立数据治理的组织保障、工作机制流程，形成数据战略制定、数据架构规划的能力； 第二，帮助该市数据资源管理局制定数据管理和治理、数据开发运维、数据运营等方面的管理标准、技术标准及数据标准，解决流程化管理、信息化管理的问题； 第三，构建市级数仓中心，特别是标准库、基础库的核心建设工作，建设符合该市的数据管理需求的统一管理的数仓中心； 第四，构建数据运营中心，能够以业务元数据管控的方式，从业务视角和管理视角，规范性开展数据运营，促进数据价值的发挥； 第五，保障数据中台的平稳有效运行，该市各委办局，上下级单位间的数据资源能够有效对接，并在运行过程建立发现问题的机制，并持续改进。 明略科技提供的数据分析咨询服务包括两方面。第一，制定该市政务数据分析方法论和政务数据分析流程，指导各部门进行政务数据分析；第二，基于主题应用和专题分析，构建分析模型和输出分析报告，给市领导及主管部门提供决策支持。 基于明略科技和腾讯云为该市搭建的数据中台，该市的数字城市项目取得了阶段性成效，体现在资源目录、数据共享和数据分析方面。资源目录方面，2020年，上线的统一数据中台服务了55家委办局，共有1800类数据资源上线；在数据归集方面，归集数据资源总量150亿条，生成数据接口800个。 数据共享方面，接口累计调用130亿次；库表交换累计40亿条，为35家委办局提供服务，例如不动产转移登记与水电气联动过户、市住建局的住建行业从业人员社保缴费情况核查、政务一体化建设、城市APP建设等，有效推进“一件事一次办”，实现更多政务服务和便民服务让市民享受一次办结的便利，进一步优化营商环境，推动政府职能转变。 数据分析方面，共实现了11份分析应用主题，包括境外疫情输入分析，海外每日疫情发展情况，手机信令复工复产数据分析，新型智慧城市助力软件业再出发课题，养老金核查分析，失业金核查分析，工伤救助核查分析，医保核查分析，城市道路交通影响分析，养老金发放情况分析与预测，社会保险参保人数和基金缴纳情况分析。

案例5 : 搭建统一大数据智慧平台，沪杭甬高速提升智慧化运营水平 近年来，中国高速公路路网趋于饱和，基础建设需求正逐年降低，而管理需求却逐年增强。如何利用智能技术、数字技术建设智慧高速，盘活资产、提高管理效能和服务质量，降低运维成本及安全风险，成为高速公路运营机构和交通参与者的迫切需求。 浙江沪杭甬高速公路股份有限公司投资经营及管理省内外18条高速公路，总里程1566公里。其中，沪杭甬高速公路于1998年底全线建成通车，是浙江开建的第一条高速公路，途经嘉兴、杭州、绍兴、宁波四个地市，全长248公里。 沪杭甬高速也展开了自身的智慧交通建设，其面临以下突出难点：高速公路的数据很难与其他行业形成交互，信息孤岛问题严重；高速公路应急指挥调度系统缺乏信息化的管理手段，应急处置能力有待提升；高速公路的智能化水平，尚不能满足运营服务和道路驾乘人员的使用需要，公众出行服务水平不高。 在这一背景下，沪杭甬高速与同盾科技展开合作，希望通过搭建统一的大数据智慧平台，提升道路交通的智慧化运营和管理水平。同盾科技以人工智能、云计算、大数据三大核心技术体系为基础，基于对数据的探索洞察和深刻理解，能够将深度学习、联邦学习等领先技术与智慧高速建设的业务场景相结合，为金融、保险、互联网、政务、零售、物流等行业提供智能分析与决策服务。 以星河-大数据平台为支撑，同盾科技为沪杭甬高速运营商搭建了智慧高速云控平台。2019年，“沪杭甬高速智慧化提升改造项目”正式启动，历经一年的研究和实施，沪杭甬高速公路智慧化提升改造一期工程现已完成建设，到2020年底项目一期基本建成通车。 基于云原生架构，通过智能决策中台，构建智慧高速场景 从架构上看，智慧高速云控平台是一个包含底层、中层到上层的全面服务平台。 图 11： 沪杭甬高速智慧高速云控平台架构 如上图所示，智慧高速云控平台底部是云原生平台，“云”作为数据、应用的硬件支撑。同盾科技云原生团队为高速公路智慧化建设提供公有云服务、私有云计算平台。为收费站提供边缘计算服务器+虚拟化/超融合解决方案，满足自由流收费需求。基于云原生的架构，可实现资源可一键扩缩容，故障可自愈（云化后业务未中断），满足对计算和存储资源的动态需求。 智慧高速云控平台中间层是智能决策中台。同盾科技通过部署大数据底层，包括可视化数据开发平台、离线计算、流计算、机器学习，搜索引擎、对象存储、云关系型数据，满足沪杭甬大数据处理、分析、挖掘、管理和应用等需求。在这一基础上，把数据背后的路特征、车特征、人特征归纳总结出来，为路的运营、车的运输、人的通行提升效能。 智慧高速云控平台最上层是应用场景层。智慧高速云控平台集成运行监测、应急指挥、养护管理、收费管理、重点车辆跟踪、营运分析等各项功能，提供智慧高速、智慧隧道、智慧桥梁、智慧枢纽、智慧服务区等场景应用，构建数字驾驶舱。 总体来看，智慧高速云控平台能够对不同来源的数据进行统一接入，并基于统一平台进行整合和分析。其中，一个重要的数据源是“慧眼”系统，也即在高速路段布设的各类感知设备，包括摄像头、雷达等。 据浙江沪杭甬高速公路股份有限公司信息中心副主任陈建新介绍，在杭甬高速柯桥至绍兴路段上，每隔250米布设了一套毫米波雷达和视频数据设备，而在沪杭甬其他路段，每隔1公里架设了一台摄像机。“这些‘慧眼’非常灵敏，不分昼夜地感知车流、车速以及一切异常，并源源不断地发送信息给后台大脑。” 智慧高速云控平台能够将软、硬件的融合连接，通过整合不同来源数据，实现对运营商、高速交警、互联网企业、交通管理部门、电子监控系统等信息的整合与分析，从而实现对交通的精准分析、整体研判和协同指挥。收获数据洞察的过程大致经历以下过程： 图 12： 沪杭甬高速智慧高速云控平台数据洞察过程 智慧高速云控平台，实现数据驱动运营 基于智慧高速云控平台，沪杭甬高速实现了实时监测、客户服务、收费管理等方面的应用场景支撑。 实现监测方面，智慧高速云控平台能够利用大数据实时分析技术和高效人工智能算法，自动发现交通异常事件（如拥堵、事故、违法驾驶行为等），融合移动互联网上报事件实现全天候事件自动监测及应急疏导和一体化施救。 客户服务方面，平台打通公众和高速公路管理者之间的双向信息交互，实现了多渠道（情报板、高德/百度地图、短信、APP等）精准化交通信息便捷发布，优化路网的交通组织和诱导，提升了公众出行体验。 道路管控方面，平台能够基于高速公路各类感知设备的实时交通信息分析全路网交通态势，实现未来交通趋势的准确预测。实时精确核算海量车辆通行记录和应收费率，使每辆车的每笔费用都应征不漏。 具体来看，智慧高速云控平台上线后，沪杭甬高速达到的项目收益体现在以下方面： 首先，实现全网交通态势预测准确率90%以上。根据数据实时分析，行程时间相比智能导航提升5%-10%；试验路段事故30秒内发现，并通过智慧高速APP、智能车载终端、情报板等方式告知客户。 其次，项目实现了人、车、路网及周边环境智能协同运转，运行路段的通行能力提升20％、道路拥堵时间降低10％、道路行车事故下降10％，道路运营环境更趋安全，交通秩序明显改善。道路设施醒目化也减少了夜间行车事故，提升了车速，夜间事故数量相比之前平均下降12.9%，夜间平均车速相比之前提升9.51%。 最后，客户可在沪杭甬全线享受公里级气象推送服务，内容包括恶劣天气、安全驾驶和服务区躲避建议等提醒信息。

案例6 : 数据中台赋能百丽国际集团，应对数字化转型挑战 百丽国际（以下简称百丽）成立于1992年，是一家大型时尚及运动产业集团，业务涵盖鞋类、运动和服饰三大业务，旗下拥有BELLE、STACCATO、TATA等十多个鞋履品牌，以及initial、MOUSSY、SLY等服饰品牌，也是十余个全球领先运动品牌的在华关键零售伙伴。 在29年的发展史中，百丽一直重视用数据赋能业务，从早期对财务系统、数据报表、数据查询的应用，到2012年左右开始组建IT团队，自建数仓、BI以及各类业务系统，以满足百丽鞋类业务20多个品牌，8个大区各异的业务需求。经过多年的IT建设，百丽已经打通了各品牌线上和线下的数据。 为了给各业务线提供统一和更精细化的数据服务，建立一体化的数据权限体系，以及为未来智能化应用打好基础，百丽需要搭建面向整个集团的数据中台体系。在开始搭建数据中台之前，百丽已经通过内部的统一数仓项目将多套数仓、大数据平台做了合并，通过数据字典项目将基于BI的分散在70多个子系统的1300多个KPI、700个维度做了梳理和统一。然而，百丽数据中台的搭建仍然面临以下挑战： 1） 在之前多个数仓并行的阶段，百丽有两套数据采集系统，一套提供实时数据采集功能，一套提供批量数据采集功能，因此数据采集工具或组件相对独立和割裂，在管理上没有统一。 2） 数据中台有直接面向用户的功能型和流程型模块，也有面向数据开发部门的数据型模块，而传统的Excel表格很难满足不同部门在数据管理和协调上的需求，因此需要对数据字典进行平台化的管理，同时平台需要具备对指标进行新增或动态调整的功能，并能让前端用户了解指标的定义和计算方法。 3） 在开发数据应用的过程中，缺乏统一和标准的数据服务，因此开发效率不高，且无法查看服务管理的全局信息，无法做统一的权限管理。 4） 数据资产管理体系庞大，用传统的方式管理数据质量对人员依赖非常高，且投入巨大。 标准产品与定制项目相结合，构建庞大且复杂的中台体系 在数据中台搭建中，百丽选择了滴普科技作为合作伙伴。滴普科技是一家全场景数据智能服务商，有着深厚的技术和平台建设经验积累，其在商业与金融科技、智慧政务、智能精益制造等核心场景中，为100余家知名大中型企业提供了标杆性的数字化转型服务。 对于百丽这样体量庞大且业务较传统的企业，数据中台的搭建需要企业内部团队与外部技术服务商发挥各自优势合作共建。在该项目中，百丽的IT团队基于对公司业务的了解，对业务逻辑、业务管理和业务流程做了系统和全面的梳理。滴普科技则通过标准化的产品和定制服务提供技术解决方案。 在标准化产品方面，滴普科技通过数据集成工具DCT，为百丽提供多种数据源的汇聚整合，且能做到低成本和高可用；通过数据资产智能开发套件DaaS，为百丽提供高效的数据汇聚、加工、服务、资产管理功能。 针对百丽的一些个性化需求，如传统企业前端系统和业务流程具有特定的业务规范，需要对半年甚至一年以上的历史数据进行处理，但标准厂商的技术组件难以在已经成型的IT和数据架构体系中调用；因而需要打造“一人一账户”的权限中台，构建更偏业务的数据字典，并在平台部署后运行测试，保障公司复杂的业务系统可用。滴普科技的实施和交付团队都为百丽提供了相应的定制化解决方案。 图 13： 百丽的数据中台架构图 数据中台赋能百丽数据服务体系 通过构建数据中台，百丽期望通过构建面向未来的技术和应用架构以及数据管理体系，实现数据汇聚集成、业务数据字典管理、数据资产管治及数据服务能力。 首先是实现多数据源的汇聚整合，并实现对数据字典的平台化管理，给业务人员使用数据，了解数据指标的意义，为业务部门间的沟通协作提供了很大的便利。 在数据质量管理方面，数据中台简化了数据开发要求，并在数据稽查、质量度量， 以及覆盖数据产品的全链路监控，实现高质量数据保障。 同时，建立统一化的数据服务平台，为数据用户提供统一口径和标准的数据查询和获取能力，高效地支持好业务前台决策、业务创新等场景需求。 百丽数据中台的成功经验 1） 在搭建数据中台之前制定清晰的目标。百丽在启动数据中台项目之前对平台的功能以及技术细节做了非常明确的规划，因此后续可以基于这些目标做清晰的阶段划分、人员组织安排。 2） 结合内外部团队优势，共创共建。在该项目中百丽对公司内部业务和数字化现状很了解，滴普科技则具备技术上的优势，双方团队经过不断的沟通和合作，发挥各自优势，才能推动数据中台落地。 3） 公司自上而下对数字化有很高认知并全员参与建设。百丽的管理层和业务部门的人员对数字化的认知程度很高，公司内部非常重视数据中台项目，所有关键人员都会自发参与，资源也会往该项目倾斜，全员的参与和投入，使得项目推动很顺利。 4） 业务逻辑要依靠公司内部而不是咨询公司梳理。数据的有效应用需要以公司业务和管理标准为前提，很多公司通过外部咨询机构做业务和管理标准的统一，往往不能得到公司管理层的认可。百丽则是由公司内部IT和业务部门梳理和统一了业务管理标准，从而有效支撑了数据应用。

案例7 : 发力数据中台，明日控股构建精准、实时、敏捷的数据能力 浙江明日控股集团（简称“明日控股”）是国内领先的塑化原料供应链管理服务商，业务范围涵盖塑料原料、液体化工、精细化工产品的贸易，以及相应的供应链金融、物流、信息、技术等产业链增值服务。 多年来，明日控股一直重视信息化、数字化能力的建设，且已经搭建了多个业务系统，以及数仓、BI等数据基础设施，形成了一定规模的数据沉淀。但随着业务的快速发展，公司内部的系统越来越多，流程越来越复杂，原有数据系统已经难以适应其业务需求。 对于现阶段的明日控股而言，其核心业务需求在于通过数据全面掌握公司现货端各个商品的实时状态，期货端的类型、头寸等数据，从而为公司在现货和期货市场进行各种操作提供决策支持。这就对底层数据平台的数据的准确性、实时性以及敏捷响应能力提出了更高要求，具体如下： 1） 数据的准确性。明日控股之前的数据分散在各个业务系统中，业务场景多，业务链条长，导致公司总体业务逻辑和数据类型非常复杂。与此同时，数据口径不统一，缺少完整的数据规划体系和数据管理规范，导致数据准确性难以评估。 2） 数据的实时性。明日控股原有数据系统只能做到事后数据及报表查看，无法实现现货端商品动态情况及期货端期货类型、头寸等数据的实时查询。这一方面是由于其数据平台缺乏实时的数据处理能力，另一方面是由于原有平台在复杂的计算场景中性能表现不足。 3） 敏捷响应能力。明日控股业务部门和覆盖的终端用户很多，而原有报表系统的SQL语句都是封装固定的，缺乏可复用性，当业务用户提出新的报表或数据应用需求时，数据部门需要重新进行开发，响应速度很慢，且耗费大量人力成本。 基于数据全链路，明日控股构建数据中台 基于对奇点云产品和项目交付能力、落地经验的认可，明日控股选择与奇点云进行合作，共同构建数据中台，以解决上述数据应用中的问题。奇点云是业内领先的独立第三方数据中台服务商，其自主研发的AI驱动的数据中台，能够帮助企业实现数据采集自动化、数据治理智能化、数据资产私有化、数据应用敏捷化，完成数据生命周期管理。截至目前，奇点云已服务过600+家政企客户。 针对数据类型复杂、数据口径不统一的问题，双方共同组建的项目组对明日控股的业务流程与数据现状进行了梳理，奇点云据此提出了一系列数据治理的思路和方法论，并指导了项目组对每一节点的数据进行逐一排查，针对每一问题形成相应解决方案，最终将数据全部清洗干净；与此同时，为了统一数据规范，双方的架构师对数据规范、对接方式、上游系统是否建主备库、网络规划、账号体系等都做了统一约定。在此基础上，基于对组织、人员、商品、词典等数据的梳理，明日控股汇总各个异构数据源数据并将类型进行了统一，完成了主数据系统建设。 针对数据使用实时性的问题，数据中台使用了Kafka、Flink等数据处理引擎，将数据解析后存放到Kafka消息队列，再通过流计算引擎Flink的处理，把计算结果存在数据库中，并对外提供API或数据查询服务。同时，数据中台采用了流批一体化的架构，对于部分不需要参与实时计算的数据，以离线计算的方式进行预先计算和预存，避免了实时计算中如果对大量历史单据数据计算，消耗内存和服务器节点过多的问题，从而提高了实时计算的性能。 为提高数据使用的敏捷响应能力，明日控股构建了数据指标体系，依托指标的强解耦性，实现了不同用户对报表和数据应用的个性化需求，提升了数据需求响应速度。此外，在奇点云的帮助下，明日控股从业务价值高、数据基础高的场景出发，建立起了完善的数据分析体系，包括了10多个业务域，总共数百个分析场景，让数据查看更直观和便捷。 图 14： 明日控股数据中台架构 明日控股数据中台的价值与效果 数据中台落地后，在数据和业务层面上，明日控股实现了多种价值与效果： 第一，实现了整体数据资产的在线化。建立了在线的报表说明及指标字典，完成了包括159个原子指标、29张报表、2个看板和1个大屏的开发，并且能够明确每张报表、每个字段的意义和作用，便于用户按图索骥，快速找到所需的数据资产。 第二，实现了现货端和期货端各种数据的实时查询与展现。实时的数据查询和展现能力，一方面为业务发展带来了重要的价值，如进销存领域的数据准确率达到100%，数据实时性从5分钟提升到了10秒内，成为了支撑公司业务发展的必不可少的基础能力，另一方面，改变了过去需要多部门向高层管理人员人工上报数据的现状，大大降低了人力成本，同时更好地支撑了管理层的决策效率。 第三，实现了数据可复用，提升了用户对数据使用需求的响应速度。通过建立底层的指标体系，当用户提出报表或者数据应用的需求时，可以根据需要的自主选择相应的数据指标，从而实现业务需求的快速响应。 明日控股数据中台的建设经验 第一，对于业务场景复杂的企业而言，建数据中台需要尽量选择项目经验丰富的厂商。首先，项目经验丰富的厂商具备系统性的方法论支撑，能够有效指导企业数据平台的建设；其次，项目经验丰富的厂商能够清晰理解企业在各个场景中的业务需求，能够对建设过程中的风险有预判，避免踩坑。 第二，数据中台建设需深入业务，甲方与厂商进行共创。该项目中，明日控股与奇点云深度梳理业务流程，把握需求与痛点，结合数智化能力，构建了最佳解决方案并实现了落地，以数据驱动业务增长和创新。

案例8 ：构建文档管理体系，助力晶盛机电释放数字资产价值 浙江晶盛机电股份有限公司（下称“晶盛机电”）创建于2006年12月，是国内领先的半导体材料装备和LED衬底材料制造企业，业务范围涵盖半导体、光伏装备业，发展LED衬底材料、工厂智能化服务解决方案等。 数字资产管理是企业数字化运营的重要保障支撑，数字资产生命周期管理包括存储管理、查找使用、共享协作等。而文档管理作为数字资产管理的重要部分，也是晶盛机电数字化运营的重要底座。随着数字化进程的推进和业务量的增长，晶盛机电原有的文档管理模式已经无法满足其整体的业务协作和管理需求，因此建立以数字资产为中心的文档管理体系，是晶盛机电的重要目标。为了替代原有文件管理模式、构建全新文档管理体系，晶盛机电面临着以下三方面挑战： 第一，存储管理方面，晶盛机电缺乏统一的以数字资产为中心的文档管理平台。原有各部门数据存放于部门级NAS中，相互独立且文件体系结构混乱，数据丢失风险大且丢失难以找回；且原有体系下权限不明晰，缺少异常行为监控，无法满足晶盛机电文档外发安全可控和文档长期保存的需求。 第二，查找使用方面，原有体系混乱，系统内容搜索和预览过程繁琐不便，且缺乏针对不同业务部门的有序流程优化，不利于各部门进行文档数据的查阅及搜索，检索效率低、成本高； 第三，共享协作方面，缺乏内外部信息协作共享能力。一方面，数据规范是数据应用的前提，规范的文档管理体系是文档应用与共享的支撑，而晶盛机电各部门缺乏整体的有序、规范的文档管理体系，文档离散、杂乱、标准不一，不利于内部各部门间以及内外部的文档共享协作。另一方面，缺乏统一的内外部信息协作共享工具，多通过NAS共享或通过邮件、微信发送文件。 此外，为了构建完善的文档、内容和知识体系，以充分实现内容利用与价值挖掘，并借助知识体系为战略做支撑。晶盛机电还需要进一步解决以下问题：比如，原有文档管理模式下，文档内容价值挖掘不足，无法充分沉淀、利用文档内容；未形成可复用的业务知识体系，不能从业务中抽取具有商业价值的信息，为公司发展战略和数字化转型做指导与支撑。 基于非结构数据中台，晶盛机电搭建集中文档管理体系 针对上述需求与挑战，在综合考虑各供应商的技术能力、解决方案与实施落地经验后，晶盛机电选择与爱数展开合作。爱数成立于2006年，是大数据基础设施提供商，提供结构化数据、非结构化数据、机器数据、知识图谱数据等全域数据能力，为政府、公共事业及企业的数字化转型赋能，帮助各行各业的客户释放数据价值，实现即时、随时、实时的数据服务。 在深入调研了晶盛机电各业务部门实际需求、梳理了业务流程后，爱数为晶盛机电建立了完整的项目体系建设规划，包括一期文档管理体系建设、二期内容管理体系建设及三期知识创新体系建设。 作为内容管理体系与知识创新体系的基础，晶盛机电首先进行了文档管理体系的搭建。基于完整的文档管理体系蓝图，晶盛机电构建了集成权限管理、共享协作、查找检索、审计管理及运营管理等功能的、基于非结构化数据中台的集中文档管理体系。 图 15： 晶盛机电文档管理体系架构 晶盛机电以权限管理体系为支撑，搭建了基于非结构化数据的统一文档管理平台，以同时满足文档的安全性和存储管理要求。数据迁移方面，晶盛机电引导、协助各部门用户将个人电脑中及NAS平台中的文件按部门存入平台，并集成业务系统中的附件，保障了文件迁移的完整性。安全管控方面，搭建部门文件结构时，根据实际需求合理分配权限；建立了基于共享策略的安全管控，管理员在控制台通过统一的共享策略，控制所有终端的文档共享行为，对异常行为进行监控，以确保文档访问方式和访问范围的安全性；建立文档多副本、文档多版本、回收站等机制，助力晶盛机电实现数据安全可控。 晶盛机电文档管理平台搭载了全终端一致的内容搜索功能，以提升查找使用体验。爱数AnyShare Family V7基于海量索引和元数据，结合人工智能技术，能够支持快速搜索、全文搜索、高级搜索等多种搜索模式，具备精准搜索、模糊搜索、历史记录搜索和相似结果折叠等多重亮点。晶盛机电文档管理体系具备高效便捷的内容协作能力，以实现共享协作。首先，基于深度调研，晶盛机电以数字资产、成果文档为中心，为各部门搭建有序的文件结构，以提升全局文档和知识管理的规范性。其次，晶盛机电还构建了完整的运营管理体系和审计管理体系，规范了业务流程和数字资产，为文档共享协作做支撑。另外，晶盛机电使用了爱数提供了丰富的Office在线协作、PDF内容管理、图片和音视频在线预览、表单在线收集等应用组件，支持多人在线编辑、在线收集、在线标注等应用场景；员工可通过SharedLink功能生成文档链接给到内部员工及外部供应商查看，提高了共享协作效率。 未来，在完成文档管理体系建设的基础上，晶盛机电将就内容管理体系及知识创新体系，与爱数展开更为深入的合作。爱数将助力晶盛机电构建内容管理体系，充分利用文档内容、挖掘文档价值，实现全面的内容管理；打造知识创新体系，落地知识工程，运用知识图谱等工具实现非结构数据商业智能功能，赋能业务数字化转型。 文档管理体系提高文件查找与交互效率，赋能数字化转型 文档管理体系的完整搭建，充分释放文档数据价值，为晶盛机电业务数字化转型提供了支撑。具体而言，实现了以下效果： 第一，保障了安全可控。文档多副本、回收站双重保险，加之文档多版本管控，确保文档丢失、误删或修改后可追溯、可找回；权限颗粒度管理，加之水印、外发审批、IP限制等功能，保障了文档安全。项目建设完毕后，晶盛机电文档误操作丢失率下降了90%； 第二，实现了文档快速查找。基于有效的目录结构梳理搭建以及历史文件的统一归档，爱数为晶盛机电提供了多维度的全文检索能力。基于关键字的搜索功能速度比NAS网盘提高了3倍，文件查找效率整体提升50%以上； 第三，提高了文件交互效率。提升了文档和知识管理的规范性，极大便利了各部门文档发布与文档审核，提升了各部门业务效率；实现了高效共享，极大提升了文件内外部共享与协作办公效率，文件交互效率提高了50%以上。