ElasticSearch 数据源

最近更新时间:2024-04-23 15:23:12

我的收藏

ElasticSearch 单表写入节点配置

配置 Elasticsearch 节点

1. 在数据集成页面左侧目录栏单击实时同步
2. 在实时同步页面上方选择单表同步新建(可选择表单和画布模式)并进入配置页面。
3. 单击左侧写入,单击选择 Elasticsearch 节点并配置节点信息。



4. 您可以参考下表进行参数配置。
参数
描述
节点名称
输入 Elasticsearch 节点名称
数据源
选择需要写入的 Elasticsearch 数据源
索引
ElasticSearch 中的索引名称
写入模式
更新每行记录所有字段(目前支持按行更新)
主键取值方式
源表主键:document 的 id 使用源表的主键联合主键:document 的 id 使用源表的多个列共同确定无主键:默认生成_id 值
开启路由
Elasticsearch 是否开启路由分区索引数据。开启路由功能后,可控制在 ElasticSearch 中使用哪个分区来存储文档
5. 预览数据字段并与读取节点配置字段映射,单击保存

ElasticSearch 日志采集写入节点配置




参数
说明
数据源
选择当前项目中可用的 Elasticsearch 数据源。
索引
Elasticsearch 数据源中的索引名称。
type
根据索引自动识别,7.X 版本的 ElasticSearch 默认 type 为 _doc。
写入模式
ElasticSearch 仅支持按行更新,更新每行记录所有字段。
主键取值方式
支持三种取值方式:
源表主键: document 的 id 使用源表的主键。
联合主键: document 的 id 使用源表的多个列共同确定。
无主键: 默认生成 _id 值。
开启路由
Elasticsearch 是否开启路由分区索引数据。开启路由功能后,可控制在 ElasticSearch 中使用哪个分区来存储文档。
高级设置(可选)
可根据业务需求配置参数。

ElasticSearch 写入数据类型转换支持

写入

内部类型
JSON 类型
CHAR / VARCHAR / STRING
string
BOOLEAN
boolean
BINARY / VARBINARY
string with encoding: base64
DECIMAL
number
TINYINT
number
SMALLINT
number
INT
number
BIGINT
number
FLOAT
number
DOUBLE
number
DATE
string with format: date
TIME
string with format: time
TIMESTAMP
string with format: date-time
TIMESTAMP_WITH_LOCAL_TIME_ZONE
string with format: date-time (with UTC time zone)
INTERVAL
number
ARRAY
array
MAP / MULTISET
object
ROW
object