加速企业文件型数据共享进程：普元大文件传输平台

转载本文请注明出处：微信公众号EAWorld

01

引言

使用可移动媒体实现文件交换以来，文件型数据的传输已成为部门、企业之间重要的数据传输方式，如何建立一种安全、高效、高容错、自动化的文件传输平台，已成为企业间资源共享，价值创新，实现优势互补重要课题。在国家大力支持信创产业、推进国产化进程的浪潮下，普元文件传输该如何应对新的机遇与挑战？

02

文件传输

2.1定义

百度百科、维基百科中，文件传输（file transfer）被定义为，将一个文件或其中的一部分从一个计算机系统传到另一个计算机系统。它可能把文件传输至另一计算机中去存储，或访问远程计算机上的文件，或把文件传输至另一计算机上去运行（作为一个程序）或处理（作为数据），或把文件传输至打印机去打印。

2.2演化

通过可移动媒体实现第一次文件交换后，文件传输高速发展，在1980年代中期，异步调制解调器替换了双同步解调器，互联网改变了使用持久连接进行文件传输方式，使用者通过HTTP，FTP和SMTP在企业之间传输文件，尽管文件传输渠道和协议发生变化，但传输管理、传输流程和方法基本未变，企业依旧管理与维护相互独立的文件传输通道。随后几年出现了大量文件传输解决方案，这些解决方案帮助文件传输日益增长的安全性，合规性和运营需求。

2.3现状

随着企业业务拓展，业务量增加，业务数据呈现爆发式增长，随之增加的不仅仅是数据的体量，以文件形式存储的数据，同样在快速增加。在这个合作共赢的时代下，企业与企业的合作，企业部门之间的协同办公模式，多为资源共享，从而实现优势互补，发展旧业务，开拓新场景，创造新价值。

如何快速有效的将这些以文件形式存储的数据实时传输，完成数据的更新，已经成为跨业务部门，跨公司，跨领域合作的重要课题，而目前使用的FTP、SFTP方式的文件传输，存在如下问题：

• 在数据的安全性、完整性方面有较大的隐患
• 点对点式的文件传输分散于各系统之间，缺乏统一的管理
• 对传输过程和状态缺乏有效的监控
• 缺乏有效错误捕获，防范措施
• 容错性低，没有断点续传，失败重发，状态日志存储等功能
• 维护人工成本高昂

当两家企业或部门之间想要自动化数据交换时，两家公司的IT部门都需要讨论数据格式，传输协议，加密，传输确认和错误/异常处理。考虑到自动文件传输功能不是大多数企业IT部门的最高优先级，对于延迟或长久等待的业务用户来说，这可能是一个漫长而令人沮丧的过程。可能需要数周才能实现与一家企业的数据交换自动化，并且必须一次又一次地重复数百甚至数千个客户/供应商。

这些问题的存在，导致数据的时效性，完整性，安全性无法保障，不利于各业务系统之间的数据交互，为解决这些问题，需要建立一种安全、有效、抗压强、可实时监控的文件传输方式，实现一对一、一对多、多对多的文件上传及下发功能。

03

普元文件传输平台

3.1能力评估标准

根据《软件工程 软件产品质量要求与评价(SQuaRE) SQuaRE指南》、《文件传输平台中间件质量测试大纲》要求，文件传输平台基础要求如下：

• 功能性要求主要内容集中在检查被测中间件产品功能是否有缺失、是否可正常使用，主要包括安装、卸载、启动与关闭、配置部署等。
• 性能效要求试通过使用通用或专用测试工具及设备，在多用户并发操作应用场景下，监控被测产品及应用系统的响应时间及资源消耗的表现。
• 可靠性要求是指一定负载压力下检查服务器运行稳定情况；检查中间件的网络故障恢复能力及易恢复性。
• 易用性要求检查产品手册与系统实际功能的一致性、示例包提供情况、检查中间件管理台提供的集成环境管理（图形化界面管理）、图形化监控、图形化安装卸载等。
• 维护性要求检查中间件产品运行时的日志管理、资源监控情况，检查管理控制台提供的相关的参数配置项及中间件在运行时的信息监控能力。
• 兼容性要求侧重兼容配套基础软硬件系统的相关测试指标项。
• 安全性要求侧重支持安全框架、安全管理等能力。
• 可扩展性要求侧重中间件集群的垂直和水平扩展能力。

3.2定位

普元大文件传输平台（Primeton BFT）是一款分布式的大文件传输平台，针对上述需求与标准，提供满足企业数据交换的大文件传输功能，基于安全，优秀的文件传输技术架构与系统框架，结合多种容错机制，将传统的文件传输，演化为一套自动化，高容错，自纠错的文件传输平台，使用者无需繁复的编程，只需通过简洁的界面输入，即可完成传输动作的定义，实现文件自传输功能，企业通过安全、高效、统一的普元文件传输平台，可以规范企业业务流程、改善业务管理状况、优化资产结构、控制风险、保证运营质量。

3.3价值

Primeton BFT为企业内或企业间文件传输提供了便捷、高效、可靠的工具支撑；平台支持多种形式的文件传输，如：一对一、一对多以及FTP文件上传与下载等，通过平台进行简单配置可快速实现多节点文件传输，帮助企业实现文件传输的统一管理。

大文件传输平台的价值主要体现在以下几个方面：

快速部署、整体掌控、多角度分析统计

• 通过解压、哑安装方式快速完成平台部署。
• 全方位的文件传输监控体系，整体掌控文件传输状况
• 多角度的文件传输分析统计，满足客户不同维度的管理诉求。

开放接口，可快速集成客户业务应用

• 平台采用开放式架构，提供易于使用的二次开发接口。
• 客户端支持以API接口调用、SDK嵌入方式，实现与客户业务应用的快速集成。

高性能、高可靠，7X24小时不间断提供服务

• 可控的文件并发传输机制，支持分段传输，支持TB级大文件传输。
• 断点续传、文件重发以及完整性校验机制，保障文件可靠传输。
• 代理节点重连机制，保障文件传输服务不间断运行。

提供系统全方位安全保障以及文件传输过程保护

• 提供企业级的菜单访问、权限管理机制，保障系统安全。
• 灵活、可扩展的加密、压缩算法、文件传输权限控制，保障文件安全传输。

04

普元文件传输设计方案

4.1海量文件传输方案

项目中发送方汇聚海量小文件，可通过多线程压缩方式进行文件夹整体传输，可设置压缩级别，压缩线程数，压缩文件内包含文件数量，根据客户现场业务情况，调整压缩策略，提高文件传输速率与文件传输安全性。目录压缩传输，充分利用服务器资源，并=改善海量文件传输情境下因大量控制信息交互导致效率下降问题。

4.2跨网段传输方案

传输环境中存在多个网域，且其中节点不能连通情况下进行文件传输，需在多网域共享节点下安装中间传输节点，充当一个网域的接收节点的同时，充当另一网域的发送节点，间接实现跨网段的文件传输。

4.3文件失败重试方案

平台管理文件传输各个阶段信息，若文件传输过程中出现问题导致文件传输失败，文件在传输失败情况下，将根据重试配置，触发文件重发机制再一次尝试发送文件，保障文件可靠传输。

4.4文件断点续传方案

由于网络不稳定或者其他因素导致文件只完成部分传输，待服务恢复后将延续上次文件传输进度对文件进行续传

4.5限流传输方案

无需增加外部依赖，可同时对传输节点、传输策略进行限流配置，满足对整体及其策略精准限流需求，保障传输网络的稳定性及安全性。带宽限速中包括节点级带宽限制和策略级带宽限制，如果节点带宽和策略带宽同时配置，则以传输中配置最小的带宽为准。

• 策略级带宽限制：在每个传输策略的配置中配置带宽限制，用来限制单个策略在传输时的带宽
• 节点级带宽限制：在每个传输节点的配置文件中配置单个节点的带宽限制，用来限制整个节点的传输带宽

4.6去中心化调度方案

文件传输调度平台在架构上分为管理平台、调度引擎和监听服务三部分，并且实现了平台高可用和传输任务的负载功能；在技术上基于微服务架构，具有很强的跨平台性，最大限度的提高系统的并行性，进一步提高了数据处理的实时性

4.7日志采集方案

采用文件异步解析入库机制，整合各个传输节点传输日志文件，统一解析入库，控制管理中心宕机情况下，传输日志将以文件形式保存，待控制管理中心恢复后，日志将自动同步加载，保证传输记录的完整性，传输任务的健壮性。

4.8文件传输体系

4.8.1纵向文件传输体系

横向文件传输模式旨在同级部门、企业之间进行平级文件传输，该模式下所有传输节点权重相同，在业务或地域方面级别相同。

4.8.2纵向文件传输体系

纵向文件传输模式旨在存在上下级关系的部门、企业之间进行文件传输，存在中心传输节点；中心传输节点负责与多下级节点之间进行文件传输，更加注重传输性能、传输安全、环境容灾的问题。

4.8.3多级文件传输体系

项目中同时存在同级部门文件传输，上下级部门文件传输。

05

普元文件传输实践

5.1某银行文件传输项目

5.1.1文件传输问题

随着某银行的业务的不断拓展、创新，整个银行的业务体量在持续增加，业务数据呈现爆发式增长，而其中各类文件数据（视频文件、音频文件、数据文件等等）也呈现指数级增长；如何便捷、高效、安全、可靠的进行文件数据传输，使各类数据文件能够有效在行内流转使用，是银行信息化建设过程中急需解决的问题；银行在之前就已经由第三方公司建设文件传输产品并投入使用，但使用过程中存在传输不可靠、运维困难、行内无法自主可控等问题，目前行内文件传输主要问题如下：

• 文件传输可靠性不高：大批量文件传输出现偶发性文件传输丢失问题；在NAS文件系统环境下，文件传输可靠性降低。
• 行内无法自主可控：老版本的文件传输依赖第三方公司内部其他产品，行内技术人员接手困难，运维困难，无法自主可控。
• 扩展性不高：老版本文件传输产品设计封闭，技术架构陈旧，导致客户化定制困难，新需求无人响应，不易于二次扩展。

5.1.2文件传输方案

平台分别在总行文件数据中心、一级分行文件处理服务器、分行应用服务器进行三级节点部署，实现将分行应用服务器文件数据资源传输至一级分行，再将一级分行文件数据传输至总行文件数据中心。

5.1.3实施效果

普元大文件传输产品为行内文件数据传输提供了高效、可靠、便捷的工具支撑，目前已经在总行文件数据中心、一级分行文件处理服务器、分行应用服务器中部署试点节点70余个，实现分行应用服务中文件数据到综合文件数据中心的文件数据交互；平台在正式运行过程中，实现了文件数据传输零故障、及时率100%，预计在2020年全行替换老版本的文件传输产品，为全行后续文件数据交互打下了坚实可靠的基础。

5.2某省数据资源共享平台项目

5.2.1整体设计

内外网数据文件交换：按照国土资源部《“国土资源云”建设总体框架》跨网络安全域复杂应用部署模式要求，开发相应功能模块，实现互联网数据通过单向光闸向内网数据中心的导入，并实现生产数据通过相关审核过程和安全检查，通过光盘定期导出，实现内外网数据的导入导出功能。

5.2.2解决方案

某省国土资源系统“一个平台、两个市场”建设，是国土资源信息化建设的总称，是结合省厅实际情况，部署开展的省国土资源信息化建设项目。普元大文件传输在数据交换平台中可做为一个统一的文件共享平台，主要提供了各业务系统之间的实时文件交换功能。

5.2.3实施效果

通过Primeton BFT及其他普元软件，建立的资源共享交换共享平台，方便快捷实现了各系统的信息资源的交换与共享，完成内外网数据交换和业务系统间的数据交换功能。满足省国土厅关于省市县三级交换、国土厅与二级单位之间的数据交换、国土资源业务网与互联网数据交换、国土厅与省政府职能单位数据交换、国土厅互联网数据交换的需求。

06

尾语

普元大文件传输平台定位于实现企业内或企业间的文件传输，致力打造统一的文件传输管理平台，实现文件传输一站式服务，在国家大力推行国产化进程的浪潮下，普元大文件传输平台将更进一步优化传输体系架构，贴合信创产业化需求，提升产品业务性能，为企业提供更高效、安全的文件传输，更优质的文件传输管理体验，加速企业文件型数据的共享进程。

关于作者：落成，普元研发中心资深工程师，擅长分布式、多线程、高并发编程，数仓技术，企业数据交换体系建设，主要负责数据交换类产品的设计与研发。