数据交换与服务工具介绍

数据交换平台是为校内各部门的管理信息系统提供数据交换,实现数据共享,并建立公共数据库,实现数据积累,为数据统计、分析、挖掘做准备。数据交换平台是一个分布式开放型网络系统,它由一个交换中心,若干个应用软件的适配器,以及保证数据传输可靠、安全,稳定的数据邮局(数据邮局)以及系统运行的辅助单元--管理中心构成,数据交换中的各应用软件以适配器作为接口,通过与交换中心的消息和数据交互实现信息交换。

数据服务交换和服务工具经历三个阶段

数据服务交换和服务工具处于第三个阶段,是统一的数据服务平台。也属于一体化数据治理和共享平台的重要组成部分。

数据服务交换和服务工具发展阶段

第一个阶段是比较原始的,缺少工具阶段。通过写脚本、针对项目的开发实现,工具化程度差,项目实施和运维成本高。

第二个阶段多样化的工具阶段,提供了能解决特定功能的工具产品。如消息中间件、ETL、文件传输等。但对于复杂环境下的大型项目有很大的不足,需要多个工具集成,缺少统一的架构、有孤岛,集成实施成本高,交换过程中面临丢包、系统堵塞等问题,安全稳定性差。

第三个阶段是统一的数据交换和服务平台,提供面向服务的插座式架构,基于统一的规则和元数据、统一架构、统一工具能可视化配置出数据采集、数据交换、数据加工、数据共享等不同的数据服务方案,能满足客户不同项目的数据交换和数据管理需要。提供端对端的数据交换和整合服务,保证了交换过程中的可靠传输,避免了丢包、系统堵塞等问题。

二挑战与解决思路

2.1传统的数据交换工具面临挑战

(1)传统的数据交换解决方案是基于多个模块/产品集成实现跨网段数据交换,当一个环节出现问题时易造成数据不一致。

(2)当采用异步交换方式时,异步的交换机制造成IO等系统资源占用、文件锁死、堵塞挂起等现象。

(3)当采用同步的交换方式时,同步交换机制在交换数据量比较大,需要传输或者装载时间比较长时,易造成通讯挂起、堵塞等现象。

传统数据交换工具示意图

2.2跨网段情况下的大数据量的数据交换与服务思路

(1)基于统一的数据交换服务实现了端对端的数据交换。

(2)通过事务处理机制保证跨网段交换的数据一致性。

(3)状态传感器技术解决了分布式传输过程的状态感知,避免了需要长时间处理情况下的通讯挂起现象,保证了传输的畅通。

一体化数据交换和治理示意图

基于统一的数据交换服务实现了端对端的数据交换。通过事务处理机制保证交换的数据一致性。状态传感器技术解决了分布式传输过程的状态感知,避免了需要长时间处理情况下的通讯挂起现象,保证了传输的畅通,跨网段情况下的大数据量的交换能力强。配置、部署、运维简单。

数据交换平台工具介绍

强大的功能特性

传输节点管理

提供丰富的数据源接口,除支持主流的数据库和大数据外,还支持文本文件、 FTP服务、API接口、Web Service服务等多种形态的数据源。支持从多个异构数据源取数,能直接完成跨数据库的数据关联取数。

图:数据源接口

提供丰富组件

提供了丰富的传输组件、文本解析组件、接口组件、转换组件、流程组件等的可视化组件来保证数据交换功能的完整性,还提供了脚本组件保证数据交换平台的扩展性。

图:内置交换组件

可视化运维与监控

支持拖拽式方式设计流程,通过可视化操作界面自动生成满足业务需要的交换任务。支持定时和事件触发,通过检测执行时间、监听数据库、指定文件变化来触发调度,灵活进行数据抽取和交换。

图:可视化流程示例

安全高效的数据交换

支持数据加密传输、断点续传、各种脱敏算法、数据权限与功能权限双重控制,让数据传输更安全可控;数据分区、并行装载技术让数据传输更高效快速。

图:设置脱敏方式

数据服务交换和服务工具作为一体化数据治理和共享平台一个组件,提供面向服务的插座式架构,基于统一的规则和元数据、统一架构、统一工具能可视化配置出数据采集、数据交换、数据加工、数据共享等不同的数据服务方案,能满足客户不同项目的数据交换和数据管理需要,提供端对端的数据交换和整合服务,保证了交换过程中的可靠传输,避免了丢包、系统堵塞等问题。支持跨组织、跨网段的、上下级单位数据交换、基于前置机的数据交换、物理隔绝的数据交换等多种应用场景。

  • 发表于:
  • 原文链接https://kuaibao.qq.com/s/20200806A0ROC400?refer=cp_1026
  • 腾讯「腾讯云开发者社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 cloudcommunity@tencent.com 删除。

扫码关注腾讯云开发者

领取腾讯云代金券