参数 | 说明 |
数据源 | 选择当前项目中可用的 COS 数据源。 |
文件路径 | 文件系统的路径信息。路径支持使用‘*’作为通配符，指定通配符后将遍历多个文件信息。 |
写入模式 | COS 支持三种写入模式： append：写入前不做任何处理，直接使用 filename 写入，保证文件名不冲突 。 nonConflict：文件名重复时报错 。 overwrite：写入前清理以文件名为前缀的所有文件，例如，"fileName": "abc"，将清理对应目录所有 abc 开头的文件。 |
文件类型 | COS 支持两种文件类型：txt 、csv。 txt：表示 TextFile 文件格式。 csv：表示普通 HDFS 文件格式（逻辑二维表）。 |
压缩格式 | 当 fileType（文件类型）为 csv 下的文件压缩方式，目前仅支持：none、deflate、gzip、bzip2、lz4、snappy。
由于 snappy 目前没有统一的 stream format，数据集成目前仅支持最主流的 hadoop-snappy（hadoop上的snappy stream format）和 framing-snappy（google 建议的 snappy stream format）。
ORC 文件类型下无需填写。 |
字段分隔符 | 写入的字段分隔符。COS 写入时的字段分隔符，需要您保证与创建的 Hive 表的字段分隔符一致，否则无法在 Hive 表中查到数据。可选：' \\t ' 、' \\u001 ' 、' | '、' 空格 ' 、 ' ；' ' , '。 |
编码 | 写入文件的编码配置。支持 utf8 和 gbk 两种编码。 |
空值转换 | 写入时，将 null 转为指定字符串。 |
高级设置（选填） | 可根据业务需求配置参数。 |