部署 及 使用 etl crontab 和 etl engine

如何部署及使用etl_crontab和etl_engine

详细描述部署过程，适合新人上手

1、前置条件

获取到以下文件列表

code.bin (授权文件，必须)

code.key (授权文件，必须)

conf.cron (调度配置文件，使用etl_crontab必须)

sys.properties (环境配置文件，使用etl_crontab必须)

etllog_mysql.sql (日志表结构文件，使用etl_crontab必须)

etl_crontab.exe (管理端，用于配置etl任务、配置调度定期执行etl_engine、查看日志等功能)

etl_engine.exe (ETL引擎，用于解析执行ETL任务，必须)

readme_v1.2.7.txt (说明文件,非必须)

etl-engine.pdf (说明文件,非必须)

2、准备用于存储日志的数据库

将etllog_mysql.sql脚本文件导入到自己的MySQL数据库中，如数据库名称是db1

3、修改配置文件

• conf.cron

该文件配置了etl-engine引擎文件位置，每个etl任务在什么时刻执行，及日志输出级别，http服务端口号等信息，

各参数可根据实际情况进行修改，具体参数可参看etl_engine.pdf文件或其它资料。

如：下面两个配置要根据实际情况进行修改。

engineFile 引擎文件存放位置（默认配置 d:/etl_crontab/etl_engine.exe）

confDir etl任务配置文件所在目录（默认配置d:/etl_crontab/config）

• sys.properties

该文件是日志输出数据源配置(当前配置默认支持输出到mysql)，和etl设计器登录等配置。

4、启动etl_crontab（管理端）

执行以下命令：

etl_crontab.exe -fileUrl conf.cron

etl_crontab.exe运行后，默认会启动一个11100的http端口，用于和etl后台管理进行交互。

http://127.0.0.1:11100/etl_designer

用户名称：admin

口令：123456

默认会启动11101端口，用于向前端推送控制台日志信息（取消该功能可通过配置conf.cron文件中 webSocketPort="" 或 取消该设置）。

5、执行etl_engine（根据实际情况使用）

1）由etl_crontab调度负责调用etl_engine执行，不需要人为干预。

2）独立执行etl_engine

执行以下命令：

etl_engine.exe -fileUrl d:/example.grf -logLevel info

6、查看相关日志（均可通过管理端查看）

1）读写成功与失败的日志信息存储在数据库中

2）etl_engine执行过程中的日志输出到etl_engine.log文件中

3）etl_crontab执行过程中的日志输出到etl_crontab.log文件中