基于大数据的计量公共服务平台设计及应用价值研究

　　在当前国家倡导的“质量强国”战略中，计量起到极其关键的作用，计量技术的发展支撑着社会发展的各个方面；计量技术的创新引领了科技和产业的创新。而在大数据时代，数据已成为企业不可或缺的战略性资源。如何运用“工业4.0”、“中国制造2025”思维和大数据等高新技术，发挥以计量数据为主的数据在经营、管理、决策中的作用，整合计量机构的数据资源，创新性地挖掘数据在应用方面的价值，为社会提供计量信息公共服务，为企业提供计量业务的增值服务，为行政单位提供计量业务的统计分析和预研预判服务，已成为一个非常重要且紧迫的课题。

欢迎加群一同探讨交流

1

基于大数据的计量公共服务平台架构设计

基于Hadoop的计量公共服务数据挖掘架构

从上图可看出，该架构对计量业务活动过程中所涉及的原始记录等非结构化数据源通过ELT工具进行数据抽取、清洗、转换，加载到Hadoop平台的Hive数据仓库，而结构化数据源(RDBMS)通过封装开源软件sqoop以及开发专用的数据交换组件，实现hadoop的HBase与原有管理信息系统的关系数据库进行数据交换。计量业务的数据挖掘通过对不同计量主题的分析建立不同的数据挖掘模型，而后通过Mahout、Dodo等数据挖掘工具对挖掘出的数据进行分析，最后通过图形进行展示。本架构的优点在于:

(1)充分整合计量机构现有的数据资源，在挖掘原有系统价值的同时，保护现有的投资，提升现有系统的实际应用价值。

(2)利用Hadoop作为底层的数据挖掘架构，采用sqoop、weka、Dodo等开源数据挖掘工具，成熟且经济。

(3)采用经典实用数据挖掘算法进行聚类分析、关联分析，能极大地提高效率。

(4)计量公共服务用户应用功能丰富，能充分地满足社会公众、企业、技术机构和政府管理的需要。

2

计量公共服务大数据挖掘关键技术的研究

　　1.计量公共服务主题建模技术研究

实现计量公共服务必须在现有数据资源池的基础上，构建与计量业务有关的分析主题。因此需要通过研究相关主题，如与收发管理、证书管理、质量管理、客户服务管理、领导决策等业务有关的主题，研究与业务相关的经营知识，最终用成熟的统计分析算法、经典的数据挖掘算法对数据资源池的数据进行分析，给出关键指标体系的计算结果。由于计量学涉及几何、温度、电磁、光学、化学、力学、电离辐射、时间频率、无线电、声学等十大专业领域，涉及的计量器具有数千种，可以说是个跨多专业的学科，因此这里采用跨行业数据挖掘标准流程(CRISP-DM)方法来对计量公共服务主题进行建模。CRISP-DM作为一个方法论，包括一个项目要经过的典型阶段的描述，每一阶段包含的任务，以及这些任务之间关系的说明。CRISP-DM代表全工业界的数据挖掘标准过程，是一个通过工业界验证的指导数据挖掘工作的方法。因限于篇幅，下面举一个简单实例来进行计量公共服务主题建模分析，如表1所示。

表1 计量公共服务主题建模表

　　2.计量公共服务数据挖掘关键算法研究

通过对数据挖掘经典算法的分析研究，选择了如表2所示的算法作为解决计量问题的关键算法。

表2 计量数据分析算法表

需要说明的是:以上的计量问题只是列举几种，更多的计量问题还有待进一步挖掘。

3

计量公共服务应用平台的功能设计

计量公共服务应用平台的设计目标是为企事业单位提供计量增值服务，为社会大众提供计量信息咨询和计量物联网应用服务，为政府提供计量管理和数据支撑服务，设计的功能结构图如图2所示。从图2可看出，计量公共服务平台主要由5部分组成，即企事业单位服务平台、信息咨询平台、物联网应用平台、大数据分析平台和远程计量校准服务平台。

计量公共服务功能结构

(1)企事业单位服务平台

可以为企事业单位提供计量器具管理、网上送检、网上价格咨询、仪器周检提醒、证书信息查询、统计报表等功能。

(2)信息咨询平台

社会大众可以通过平台查看培训信息、政策法规信息、仪器信息、科研成果信息以及进行各类信息咨询。

(3)物联网应用平台

通过微信平台、手机端App等应用了解最新信息，进行检毕查询、收费标准查询、微信支付等，通过证书二维码进行证书防伪验证等。

(4)大数据分析平台

可通过客户浏览的页面预测客户的行为，并自动推送相关服务。

可通过对证书和原始记录的抽查数据分析，对各专业证书质量进行预测，通过趋势预判指导和提高证书质量。

通过对业务数据的细分分析，对不同行业、不同专业的业务发展趋势进行分析，指导和提高业务的发展。

通过对证书信息、客户信息、收费信息、质量信息和设备信息的综合分析，为领导决策提供数据依据。

(5)远程计量校准服务平台

可对现有的远程校准系统提供接入接口，让客户享受一站式服务，并通过开放平台接口，联合各专业进行远程校准服务的研发。

4

计量公共服务大数据平台应用价值研究

积极建设计量大数据服务平台，不仅是落实国家政策层面的需要，同时也具备以下应用价值:

(1)是履行市场监督职能的基础和支撑

通过对计量业务数据的分析挖掘，实现计量业务数据汇聚、加工和发布，为公众提供定期的计量分析报告，杜绝市场上伪劣计量产品为民众带来的损失，并让民众了解市场上产品的状况，提升民众对质量保障的意识，让“计量数据多跑腿，送检客户少跑腿”，达到“计量惠民”的目标。

(2)是提升计量技术机构核心竞争力的保障

计量大数据平台的建设，有利于打破计量技术机构检测业务系统之间的数据孤岛，实现计量检测数据互联互通；通过深入分析挖掘计量技术机构在提供计量服务留存的宝贵数据，发现计量数据价值，提供计量情报和针对性服务，从而实现计量数据资产的变现，利用数据价值辅助科研人员研究高新计量技术，促进计量技术机构核心综合竞争力提升。

(3)是全面提升企业产品质量的助推器

建设计量大数据平台，监督把关计量产品，提升计量产品质量水平。通过对计量检测结果的汇集、挖掘分析，用计量数据分析计量产品质量分布，问题计量器具溯源，建立计量器具生产企业的大数据质量监督体系，对问题区域、问题企业实行定位、监督、整治，减少甚至杜绝问题计量产品流入市场，全面提升社会上计量产品的质量水平。

5

结束语

目前运用大数据思维和高新技术，发挥以计量数据为主的数据在经营、管理、决策中的作用，已经越来越为计量技术机构所认同，本文提出的基于大数据的计量公共服务平台可带来计量技术机构在数据管理以及应用价值方面的创新。计量技术机构应充分发挥计量大数据资产的价值(如计量需求、计量资源、计量能力、计量标准、计量流程)，丰富计量检测服务体系，拓宽计量服务领域，不断为政府、公众、企业提供特色的专项主题服务，并保持行业领先地位和竞争优势。

END

本文刊发于《中国计量》杂志2017年第11期

作者：福建省计量科学研究院 郑培强