ETL工具选型 需要考虑哪些因素

如何选型

ETL产品的选型工作一直以来都是困扰架构师的一块心病，国外付费产品用不起，国外免费产品学习成本高、不易实施。

• 多数软件又为什么逐渐国产化？ 长期以来，国内数据技术都由海外厂商主导。然而随着国际竞争环境日益激烈，争端所引发的技术卡脖子事件频发，面对特殊的大环境，全球化带来的科技创新共同体背后，国家IT产业实现自主可控的重要性不言而喻。为确保国家信息安全，政府部门出台了一系列的相关政策以支持IT系统的国产化。
• 落地项目中真正的需求又是什么？ 传统的数据导出、格式各种转换、装载； 上游对接消息中间件、格式各种转换、数据分发； 移植到设备终端上运行是否会省去更多复杂因素？是否会更加接地气？ 适配各种当下流行的非关系型数据库、时序数据库；
• 真的是靠拖拉拽就能解决所有问题吗？ 拖拉拽只解决了部分实施性工作，但业务场景往往是复杂多元化的，需要实施人员能在此基础上进行适应性开发。

轻量级 跨平台 易集成

• go语言开发，部署简单，开箱即用。 不需要JVM虚拟机等环境的部署，不需要依赖各种静态库、动态库，go编译出的二进制文件是可以独立运行的、而且跨平台，实施简单方便集成。
• 不只是数据交换工具，还是可以嵌入并解析go语言脚本的开发工具。 嵌入脚本并能解析性运行解决了动态需求的场景，必不可少的一项功能。
• 完善的ETL解决方案，提供可视化任务设计器、调度配置及日志查看功能。 为方便实施与监控需要有图形化功能来支撑。

支持丰富的数据源

支持丰富的数据源

• 关系型数据库

Oralce、MySQL、PostgreSQL、Sqlite

• 非关系型数据库

ElasticSearch、Redis

• 时序数据库

InfluxDB、ClickHouse、Prometheus

• 消息中间件

Kafka、RocketMQ

• Hadoop生态

Hive

• 文件

Excel、CSV

参考资料

  [资源下载](https://github.com/hw2499/etl-engine/releases)
  [etl-engine使用手册](https://github.com/hw2499/etl-engine)
  [etl-crontab使用手册](https://github.com/hw2499/etl-engine/wiki/etl-crontab%E8%B0%83%E5%BA%A6)
  [嵌入脚本开发](https://github.com/hw2499/etl-engine/wiki/%E5%B5%8C%E5%85%A5%E8%84%9A%E6%9C%AC%E5%BC%80%E5%8F%91)