为什么要用专业国产化ETL工具？(非开源&非包装）

ETL负责将分布的、异构数据源中的数据如关系数据、平面数据文件等抽取到临时中间层后进行清洗、转换、集成，最后加载到数据仓库或数据集市中，成为联机分析处理、数据挖掘的基础。

       如果数据转换的频率或者要求不高可以手动实现ETL的功能；反之，如果对数据转换的要求比较高的话，就需要专门的ETL工具.

1.部署要求

1.1.平台支持：

支持主流平台Linux, Windows以及国产操作系统，不同平台间具备可移植性（包含不同平台间移植以及从相同平台开发环境到生产环境间的移植）；提供独立的运行框架，不依赖特定的数据库产品。同时支持各种硬件平台，如x86，龙芯等等。

1.2.满足信创要求

工具所依赖的操作系统、数据库、中间件符合信创改造要求。主要为：统信UOS操作系统、中科方德操作系统、中标麒麟、国产化数据库（人大金仓、达梦等）。

1.3.跨平台移植和向下兼容

工具跨平台或版本升级不影响原有作业设计及使用。或能提供作业升级脚本。

2. 功能特性

2.1 开放性

支持各种类型业务系统数据源，包括不仅限于oracle、sqlserver、access等各类国内外关系型数据库，甚至pdf、word、excel、xml、txt等类型数据文件，支持多达30+数据源同时采集提取。国产信创数据库等即刻开放接口。

2.2 扩展性

集成Bee脚本开发环境（自研），徒刑设计科转换成后台bee脚本，可个性化定制开发，满足国内特殊信息现状。满足复杂业务逻辑数据处理需求。

提取的数据结构、数据内容、数据标准、数据处理流程都是可扩展和灵活配置的。

2.3简化性

简化了用户的操作。专用ETL通常通过图形化的配置方式，简单，灵活，使得用户无需过分关心数据库的各种内部细节，而专注于其功能实现。

2.4集成性

集成数据标准转换和数据清洗功能。可对实际系统业务中复杂数据标准和代码转换，且配置简单、方便。数据抽取、清洗工作保证了数据质量。从而做到统一接口、统一数据文件格式、统一运行和维护方法。

2.5创新性

独有的工作流调度、内置独有的脚本解释器功能组件（bee 脚本函数）处理清洗、过滤、转换。

2.6先进性

核心自研可控，源自2004年 非开源包装技术。

2.7易安装维护

系统本身是绿色免安装软件，拷贝就能用。基本不需要其他系统维护工作。

3．非功能特点

 3.1 工具界面

可以通过可视化操作方式进行设计，将大大降低开发门槛，使开发人员得到补充，避免人员流动性造成的运维困难。

 3.2 可用性

改善数据运维的方式，运维人员经过基本培训后，简单操作即可满足ETL作业上线、部署等需求。

 3.3 安全性

用户创建的作业文件采用加密方式存储，密钥采用与机器相关的硬件信息，当作业文件拷贝到其它机器时，由于对应密钥的硬件信息 发生改变，所以作业文件是无法读取的。这样可以杜绝非法用户将作业文件复制后、通过在其它机器创建同名用户从而窃取、破坏数 据信息的行为发生。

为了防止程序开启后的非法访问（如用户在打开作业文件后离开机器，非法用户可借此窃取、破环数据信息），程序提供界面锁定功能。界面锁定后，必须提供锁定用户的密码才可重新进入程序。

3.4 易用性

良好的易用性，逻辑清晰便于用户理解；系统操作简单，人机交互界面友好。系统操作界面一目了然，用户能够直观的找到自己使用的功能菜单，很方便的完成所需操作。

3.5设计约束

所构建系统的所有设计约束。设计约束代表经过批准的、必须遵从的设计决定。示例包括软件语言、软件流程管理需求、规定使用的开发工具、体系结构和设计约束、购买的组件、类库等等。