市级政务数据汇聚共享平台的设计与应用

摘要：建设政务数据汇聚共享平台, 开展数据的智慧化应用, 实现政务数据管理、组织、共享、服务和应用模式的升级转变, 对提高政府行政效能和公共服务水平, 促进区域经济发展有重要意义。

1、建设背景

经过多年的建设, 龙岩市各部门业务系统逐步向政务云平台汇聚, 基本实现政务数据和业务系统的统一承载, 一些大系统互联互通, 如审批系统与协同办公系统、公共信用信息平台、“多规合一”平台之间信息联动共享, 极大提高了政府行政服务的质量和效率。但大部分数据依然“割据”在业务系统中, 只是原先分散在各个数据中心的“数据碎片”和“数据孤岛”向政务云平台集中汇聚, 云平台集聚的大量数据难以形成集成的“大数据”和“数据产品”, 数据除了满足基本的业务用途之外, 无法实现基于数据的创新和增值。

龙岩市政府充分认识到政务大数据对于建设高效便民的“互联网+政务服务”、提高政府治理服务能力的重大意义, 在2017年数字龙岩工作要点中提出建设市级政务数据汇聚共享和交换平台, 逐步汇聚人口、法人、地理空间等各类数据, 探索运用大数据加强政务服务, 规划建设数据开放平台, 有序开放政务数据, 鼓励公众、企业、高校和科研院所开发利用。

2、方案设计

2.1 设计思路

根据部门权力清单、责任清单和服务清单, 围绕法人、自然人的每一个业务大类, 梳理相关的属性数据指标, 整合、汇聚部门的核心业务数据, 通过融合、重构、云化, 建设人口数据云和法人数据云, 为开展政府个性化主动服务提供技术支撑。

2.2 总体架构

由基础设施、平台支撑、数据接入、数据存储、大数据管理和政务大数据应用等主要部分以及安全管控、运维监控、标准规范体系和安全运维体系等辅助部分构成, 如图1所示:

图1 平台总体架构

2.2.1 基础设施层

基于龙岩市电子政务云计算平台的独立计算资源和存储资源, 提供存储资源、计算资源、网络资源和安全设备支撑。

2.2.2 平台支撑层

提供第三方软件和工具的支持, 包括Hadoop大数据平台体系软件、API自动生成和管理平台、大数据分析处理系统、数据可视化工具软件以及其他的第三方工具和组件。

2.2.3 数据接入层

提供Web Service接口采集、前置系统采集、FTP采集、网络爬虫、Excel文件上传和人工录入等多种数据采集接入方法, 支持关系型数据、时序型数据、半结构化/非结构化数据以及地理空间数据等不同类型数据。

2.2.4 数据存储层

是政务数据资源的汇集、存储和管理中心, 在接入采集分布在政府各部门数据资源的基础上, 依据相关数据管理政策和技术标准规范, 对多源异构数据进行存储、加工、整合和管理, 提供部门目录数据库、业务数据库、基础数据库、主题数据库、对象档案库、开放开发数据库和元数据库等的管理和存储。

2.2.5 大数据管理层

提供平台的核心引擎和计算能力, 由数据处理、数据管理和数据服务等三部分组成, 基于Hadoop体系相关技术进行搭建, 利用数据存储层的数据存储能力实现时序型、结构化、半结构化和非结构化数据的有效存储和管理, 对外提供API接口服务和APP应用服务。

2.2.6 大数据应用层

应用支撑是平台建设的核心目标, 是数据价值传递给用户的桥梁, 为政府提供主动、有效的政务管理和决策分析辅助能力。

2.3 技术架构

图2 平台技术架构

平台面向政务数据汇聚、整合、共享、应用的需求, 充分利用Hadoop技术体系的优势, 围绕关系型数据、电子文件、地理空间数据、时序型数据等各类结构化数据和非结构化数据的存储和计算要求, 为政务大数据存储、分析提供基础技术支撑平台。平台技术架构设计如图2所示。

平台采用SQOOP技术实现批量数据加载以及Kafka+Storm技术实现增量数据或实时数据的接收和加载;利用ETL、Spark、Storm、Map Reduce等技术实现各类数据的交换、集成、清洗和转换, 基于HDFS、HBASE、HIVE、Mongo DB、Redis和Oracle等方式对外提供时序类、结构化、半结构化和非结构化数据、空间数据的有效管理和存储, 构建不同类型的数据库, 包括时序数据库、文件数据库、关系数库及No SQL数据库等;利用分布式计算、Zookeeper等技术实现对数据的分析利用和高可靠协同服务。

平台提供算法库、模型库、公共基础组件、工作流引擎、智能检索引擎等应用支撑服务。

在应用层, 通过J2EE三层B/S框架, 采用Tomcat应用服务器, 利用成熟的开发平台, 进行功能层面的开发。最终通过门户实现界面、应用和功能的集成。

2.4 数据资源中心

数据资源中心是政务数据资源开发利用的基础, 包括部门业务数据库、基础数据库、主题数据库、人口对象档案库、法人对象档案库等, 主要通过部署在政务信息网和电子政务外网、互联网的数据采集系统汇集部门业务系统的多源异构政务数据及省级政务数据资源中心下发的数据、传感监测数据以及空间地理数据资源, 依据数据共享的政策和标准规范梳理形成, 以大文件分布式数据存贮、管理、并行分析与计算。同时, 建立涵盖数据提供、数据维护、数据共享、监督评估的工作机制, 支撑政务大数据智慧化应用。

3、应用设计

平台的功能主要包括“数据采集、数据管理、数据应用”三个方面, 可以概括为:“取、存、管、用”。在汇聚和整合各部门政务数据的基础上, 统一为各类平台和业务应用系统提供数据共享的支撑保障服务, 并对服务运行情况统一监管。

3.1 平台级数据汇聚共享

以公共信用信息应用服务为例, 介绍平台级数据汇聚共享服务设计。

3.1.1 数据汇聚

政务数据汇聚共享平台以接口对接、前置对接、Excel导入、人工录入等采集方式, 将市、县各部门 (包括政府部门、司法机关、承担公共管理职能的事业单位及社团组织) 接入的信用信息如行政许可处罚、红黑名单等进行清洗比对梳理整合, 按照法人信用数据规范和自然人信用数据规范进行信息归类, 形成法人信用信息库和自然人信用信息库。

3.1.2 数据共享

平台根据要求为法人信用信息库和自然人信用信息库配置推送任务, 定时向市公共信用信息平台推送;省公共信用信息通过省级政务数据汇聚共享平台回流到市级政务数据汇聚共享平台, 由市级汇聚共享平台推送到市公共信用平台。市公共信用数据通过市级汇聚共享平台上报到省级政务数据汇聚共享平台, 由省级政务数据汇聚共享平台推送给省公共信用平台。通过省、市两级政务数据汇聚共享平台与全省信用信息平台对接实现信用信息共享。该应用服务架构如图3所示:

图3 公共信用信息共享应用服务架构

3.1.3 数据监控

平台监控各部门接入数据的频率和质量, 反馈问题数据, 对逾期未更新的部门进行催报, 同时对各部门汇聚共享的各种类型的公共信用信息进行统计分析, 并以图表方式进行可视化展现。

3.2 业务系统类数据共享

部门业务系统需要共享其他部门的数据, 可以填写数据申请表, 向平台提交申请。汇聚平台根据所申请业务信息的数据共享类型, 启动相应流程:如果是无条件共享的数据, 平台直接把数据推送至该部门;如果是有条件共享的数据, 进入审批流程。平台提供两种审批方式, 一是由数据管理部门自行在平台上审批;二是数据管理部门出具审批文件, 由技术服务单位代为审批, 平台反馈信息给申请部门。全过程纳入监控。

4、结束语

建设政务数据汇聚共享平台, 将分布在政府单个部门、单一系统中的数据, 通过汇聚、融合、云化, 形成大数据, 分析挖掘数据价值, 开展数据的智慧化应用, 实现全市政务数据管理模式、数据组织模式、数据共享模式、数据服务模式和数据应用模式的升级转变, 对提高政府行政效能和公共服务水平, 促进区域经济社会和谐稳定发展有重要意义。

微信公众号：电子政务智库

参考文献：略

来源：《福建电脑》

作者：刘小伶

图片来源：摄图网

免责声明：本文转自网络公开渠道，旨在为广大用户提供最新最全的信息，不对所包含内容的准确性、可靠性或完整性提供任何明示或暗示的保证。转载的稿件版权归原作者或机构所有，如有侵权，请联系删除。抄袭本文至其它渠道者引发的一切纠纷与本平台无关。

推荐

数据基因

电子政务大数据解决方案

产品宣传片在此

拿走不谢！

请在wifi环境下观看视频哦~~