西安弈聪软件BDS大数据公共服务平台获得国家软件著作权登记证书

日前由西安弈聪信息技术有限公司(简称:弈聪软件)自主开发的的“BDS大数据公共服务平台”通过中国版权保护中心审核并取得国家软件著作权登记证书。

大数据平台软件著作权

据悉弈聪BDS大数据公共服务平台按照系统数据集设计，包括政务服务公共信息库、生产业务信息库、民生便民公共信息库三大领域主题库，项目建设目的是建立为政务及事业单位，科研院所及相关机构，智能制造生产企业及民生服务领域基础大数据样本平台，提升本企业在大数据领域的技术及业务探索，以便为后续具体行业大数据技术服务提供技术支撑及业务合作蓝本。弈聪BDS大数据公共服务平台自2017年6月开始进行市场调研，需求分析及前期技术准备工作，依照项目进度计划稳步进行。截至目前已经完成项目市场调研，需求分析，技术可行性论证,相关设施设备及技术准备工作；系统总体技术架构研发及搭建；数据加密方式研发以及初步应用；相关核心技术研发；数据安全及用户UI、UE等方面设计以及基础平台架构搭建完成。基本完成系统稳定性，抗压性，逻辑功能测试，数据及系统整体可靠性安全体系验证；系统性能的优化与健壮性升级改进；在系统架构稳定，技术成熟前提下根据需求按照批次有序进行对应业务数据采集挖掘、清洗整理存储，及相应的数据分析工作；开发外部接口API及第三方接口支持工作。按照系统初期数据集设计，包括政务服务公共信息库、生产业务信息库、民生便民公共信息库三大领域主题库。除生产业务信息库正在建设外，其余两个数据集已经完成并进入数据入库及整理清洗，达到初步预期。

大数据平台

弈聪BDS大数据公共服务平台系统技术架构采用Hadoop分布式系统，运用自主知识产权的大数据爬虫技术 (BDS Crawler)实现数据的采集与清洗，利用Hadoop系统的HDFS高吞吐量数据访问，高度容错性等特性，将所采集数据及文件进行分块存储。平台的技术创新点就是以Flume和Kafka采集中间件为基础，采用自主研发的数据采集大数据爬虫技术 (BDS Crawler)实现数据的采集与清洗，为后续的近实时的在线分析系统和离线分析系统提供数据服务。其创新点在于：A、基于Flume和Kafka自主研发：综合Flume和Kafka各自优势，自主研发技术。

B、大并发高性能：满足大数据平台大并发高性的基本要求，每秒处理几十万条数据；

C、海量数据实时性：支持TB级甚至是PB级的数据规模；优化缓冲机制，保证较低的延迟时间，达到秒级甚至是毫秒级；

D、分布式和易用性：支持大数据的基本架构，能够平滑扩展；能够快速进行开发和部署；

E、支持自定义规则：可定义数据采集规则和数据清洗规则；支持二次开发；

F、数据可靠性处理：各种不同数据源数据进入大数据系统，数据可靠性尤其重要。

大数据平台

目前BDS大数据公共服务平台已经于2018年7月通过陕西省软件评测中心测评。且根据公司内部按照ISO20000信息服务体系相关测试流程对系统关键参数如BDS Crawler数据采集效率、系统压力及承载能力进行内部测试及其它第三方平台系统安全性测试结果表明，系统核心技术成熟度和稳定性、系统运行效率、系统安全性等得到进一步印证，其相关技术参数达到预期设计要求。