西安弈聪软件BDS大数据公共服务平台获得国家软件著作权登记证书

日前由西安弈聪信息技术有限公司(简称:弈聪软件)自主开发的的“BDS大数据公共服务平台”通过中国版权保护中心审核并取得国家软件著作权登记证书。

据悉弈聪BDS大数据公共服务平台按照系统数据集设计,包括政务服务公共信息库、生产业务信息库、民生便民公共信息库三大领域主题库,项目建设目的是建立为政务及事业单位,科研院所及相关机构,智能制造生产企业及民生服务领域基础大数据样本平台,提升本企业在大数据领域的技术及业务探索,以便为后续具体行业大数据技术服务提供技术支撑及业务合作蓝本。弈聪BDS大数据公共服务平台自2017年6月开始进行市场调研,需求分析及前期技术准备工作,依照项目进度计划稳步进行。截至目前已经完成项目市场调研,需求分析,技术可行性论证,相关设施设备及技术准备工作;系统总体技术架构研发及搭建;数据加密方式研发以及初步应用;相关核心技术研发;数据安全及用户UI、UE等方面设计以及基础平台架构搭建完成。基本完成系统稳定性,抗压性,逻辑功能测试,数据及系统整体可靠性安全体系验证;系统性能的优化与健壮性升级改进;在系统架构稳定,技术成熟前提下根据需求按照批次有序进行对应业务数据采集挖掘、清洗整理存储,及相应的数据分析工作;开发外部接口API及第三方接口支持工作。按照系统初期数据集设计,包括政务服务公共信息库、生产业务信息库、民生便民公共信息库三大领域主题库。除生产业务信息库正在建设外,其余两个数据集已经完成并进入数据入库及整理清洗,达到初步预期。

弈聪BDS大数据公共服务平台系统技术架构采用Hadoop分布式系统,运用自主知识产权的大数据爬虫技术 (BDS Crawler)实现数据的采集与清洗,利用Hadoop系统的HDFS高吞吐量数据访问,高度容错性等特性,将所采集数据及文件进行分块存储。平台的技术创新点就是以Flume和Kafka采集中间件为基础,采用自主研发的数据采集大数据爬虫技术 (BDS Crawler)实现数据的采集与清洗,为后续的近实时的在线分析系统和离线分析系统提供数据服务。其创新点在于:A、基于Flume和Kafka自主研发:综合Flume和Kafka各自优势,自主研发技术。

B、大并发高性能:满足大数据平台大并发高性的基本要求,每秒处理几十万条数据;

C、海量数据实时性:支持TB级甚至是PB级的数据规模;优化缓冲机制,保证较低的延迟时间,达到秒级甚至是毫秒级;

D、分布式和易用性:支持大数据的基本架构,能够平滑扩展;能够快速进行开发和部署;

E、支持自定义规则:可定义数据采集规则和数据清洗规则;支持二次开发;

F、数据可靠性处理:各种不同数据源数据进入大数据系统,数据可靠性尤其重要。

目前BDS大数据公共服务平台已经于2018年7月通过陕西省软件评测中心测评。且根据公司内部按照ISO20000信息服务体系相关测试流程对系统关键参数如BDS Crawler数据采集效率、系统压力及承载能力进行内部测试及其它第三方平台系统安全性测试结果表明,系统核心技术成熟度和稳定性、系统运行效率、系统安全性等得到进一步印证,其相关技术参数达到预期设计要求。

原创声明,本文系作者授权云+社区发表,未经许可,不得转载。

如有侵权,请联系 yunjia_community@tencent.com 删除。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏腾讯云数据库(TencentDB)

一篇文章了解腾讯云数据库TencentDB

注:本文摘自2018年11月22日腾讯云数据库CynosDB新品发布会的演讲实录。随着互联网信息的发展,大家也对云这个词汇也不是特别陌生了,作为全球首选的云服务...

37860
来自专栏罗超频道

百度“摇号”速查:接入权威数据成搜索趋势

搜索引擎与权威部门合作,接入数据供用户查询,正在成为趋势。 近日百度引入了北京市小客车指标调控管理信息系统的官方数据,用户直接搜索“摇号”,可在...

32150
来自专栏java一日一条

你在编程的时候浪费了多少时间?

如果你正在阅读这篇文章,那么你很有可能和我一样,也是程序员。无论你是自由职业者还是合同工,时间是你最宝贵的资源之一。

8020
来自专栏云加头条

张浩:日调度万亿次,微服务框架TSF大规模应用

张浩:大家下午好!我是来自腾讯云中间件产品负责人,我叫张浩。很高兴今天能来到广州这样一个工业、金融、制造等非常发达的城市,和大家分享腾讯云微服务的一些实践。

1.1K20
来自专栏杨建荣的学习笔记

对待运维平台,要有「疯狗」一样的执行效率

从去年发起里程碑来做自动化平台的事情到现在,已经几个月过去了。在这段时间里,其实我的心态是很焦灼的。 其实从很多维度来说,做运维平台的事情,从不明朗的需求和定位...

36050
来自专栏Java进阶架构师

好文 | 架构师更多的是和人打交道,说说我见到和听说到的架构师升级步骤和平时的工作内容

之前有网友说想看架构师升级的文章,所以写了本文。先给本文中架构师做个定义:第一,能力上达到(似乎是废话),第二,公司肯承认,不仅能给架构师的头衔,更能按架构师的...

11510
来自专栏SDNLAB

2017年网工必备8大技能

网络工程师目前的平均工作职责正在随着时间的推移不断增加,网络工程师曾经是相对静态的角色,负责管理从A点到B点的传输帧和分组,现在已经发展成为负责网络,服务器和存...

405130
来自专栏java一日一条

你在编程的时候浪费了多少时间?

如果你正在阅读这篇文章,那么你很有可能和我一样,也是程序员。无论你是自由职业者还是合同工,时间是你最宝贵的资源之一。

7110
来自专栏DevOps时代的专栏

DevOps实施实战系列(一):实施框架总览

? 前言: 企业IT本身是个复杂的系统工程,这也是为什么DevOps的实施不是一个一蹴而就的过程,大多数企业需要至少2~3年的时间才能够逐步达成一个相对成熟的...

237100
来自专栏JAVA高级架构开发

漫画:什么是架构师?

说到这里,也给大家推荐一个架构交流学习群:614478470,里面会分享一些资深架构师录制的视频录像:有Spring,MyBatis,Netty源码分析,高并发...

18300

扫码关注云+社区

领取腾讯云代金券