数据交换与服务工具介绍

数据交换平台是为校内各部门的管理信息系统提供数据交换，实现数据共享，并建立公共数据库，实现数据积累，为数据统计、分析、挖掘做准备。数据交换平台是一个分布式开放型网络系统，它由一个交换中心，若干个应用软件的适配器，以及保证数据传输可靠、安全，稳定的数据邮局（数据邮局）以及系统运行的辅助单元--管理中心构成，数据交换中的各应用软件以适配器作为接口，通过与交换中心的消息和数据交互实现信息交换。

数据服务交换和服务工具经历三个阶段

数据服务交换和服务工具处于第三个阶段，是统一的数据服务平台。也属于一体化数据治理和共享平台的重要组成部分。

数据服务交换和服务工具发展阶段

第一个阶段是比较原始的，缺少工具阶段。通过写脚本、针对项目的开发实现，工具化程度差，项目实施和运维成本高。

第二个阶段多样化的工具阶段，提供了能解决特定功能的工具产品。如消息中间件、ETL、文件传输等。但对于复杂环境下的大型项目有很大的不足，需要多个工具集成，缺少统一的架构、有孤岛，集成实施成本高，交换过程中面临丢包、系统堵塞等问题，安全稳定性差。

第三个阶段是统一的数据交换和服务平台，提供面向服务的插座式架构，基于统一的规则和元数据、统一架构、统一工具能可视化配置出数据采集、数据交换、数据加工、数据共享等不同的数据服务方案，能满足客户不同项目的数据交换和数据管理需要。提供端对端的数据交换和整合服务，保证了交换过程中的可靠传输，避免了丢包、系统堵塞等问题。

二挑战与解决思路

2.1传统的数据交换工具面临挑战

（1）传统的数据交换解决方案是基于多个模块/产品集成实现跨网段数据交换，当一个环节出现问题时易造成数据不一致。

（2）当采用异步交换方式时，异步的交换机制造成IO等系统资源占用、文件锁死、堵塞挂起等现象。

（3）当采用同步的交换方式时，同步交换机制在交换数据量比较大，需要传输或者装载时间比较长时，易造成通讯挂起、堵塞等现象。

传统数据交换工具示意图

2.2跨网段情况下的大数据量的数据交换与服务思路

（1）基于统一的数据交换服务实现了端对端的数据交换。

（2）通过事务处理机制保证跨网段交换的数据一致性。

（3）状态传感器技术解决了分布式传输过程的状态感知，避免了需要长时间处理情况下的通讯挂起现象，保证了传输的畅通。

一体化数据交换和治理示意图

基于统一的数据交换服务实现了端对端的数据交换。通过事务处理机制保证交换的数据一致性。状态传感器技术解决了分布式传输过程的状态感知，避免了需要长时间处理情况下的通讯挂起现象，保证了传输的畅通，跨网段情况下的大数据量的交换能力强。配置、部署、运维简单。

数据交换平台工具介绍

强大的功能特性

传输节点管理

提供丰富的数据源接口，除支持主流的数据库和大数据外，还支持文本文件、 FTP服务、API接口、Web Service服务等多种形态的数据源。支持从多个异构数据源取数，能直接完成跨数据库的数据关联取数。

图：数据源接口

提供丰富组件

提供了丰富的传输组件、文本解析组件、接口组件、转换组件、流程组件等的可视化组件来保证数据交换功能的完整性，还提供了脚本组件保证数据交换平台的扩展性。

图：内置交换组件

可视化运维与监控

支持拖拽式方式设计流程，通过可视化操作界面自动生成满足业务需要的交换任务。支持定时和事件触发，通过检测执行时间、监听数据库、指定文件变化来触发调度，灵活进行数据抽取和交换。

图：可视化流程示例

安全高效的数据交换

支持数据加密传输、断点续传、各种脱敏算法、数据权限与功能权限双重控制，让数据传输更安全可控；数据分区、并行装载技术让数据传输更高效快速。

图：设置脱敏方式

数据服务交换和服务工具作为一体化数据治理和共享平台一个组件,提供面向服务的插座式架构，基于统一的规则和元数据、统一架构、统一工具能可视化配置出数据采集、数据交换、数据加工、数据共享等不同的数据服务方案，能满足客户不同项目的数据交换和数据管理需要，提供端对端的数据交换和整合服务，保证了交换过程中的可靠传输，避免了丢包、系统堵塞等问题。支持跨组织、跨网段的、上下级单位数据交换、基于前置机的数据交换、物理隔绝的数据交换等多种应用场景。