参数说明
离线类型 | 读/写 | 配置内容 | 适用场景 | 描述 |
es | 写 |  | 单表 | - |
mysql | 读 | splitFactor=5 | 单表 | - |
cos | 写 | splitFileSize=134217728 | 单表 | 单文件切分大小 针对 hive on cos 不生效 支持 text、orc、parquet 类型的文件 |
HDFS | 写 | splitFileSize=134217728 | 单表 | 单文件切分大小 hive on hdfs 不生效 支持 text、orc、parquet 类型的文件 |
hive | 写 | compress=none/snappy/lz4/bzip2/gzip/deflate | 单表 | 默认为 none。只对 textfile 格式有效，对 orc/parquet 无效（orc/parquet 需要在建表语句指定压缩） |
hive | 写 | format=orc/parquet | 单表 | hdfs 临时文件的格式，默认为 orc，跟最终 hive 表格式无关 |
doris | 写 | sameNameWildcardColumn=true | 单表 | mysql-doris 配置* 支持同名字段映射 |
元数据字段 | 读/写 | 配置内容 |
kafka | 读 | __key__ 表示消息的 key
__value__ 表示消息的完整内容
__partition__ 表示当前消息所在分区
__headers__ 表示当前消息 headers 信息
__offset__ 表示当前消息的偏移量
__timestamp__ 表示当前消息的时间戳
|
配置方式
