创建管道

最近更新时间:2023-07-11 20:46:20

我的收藏
创建 Logstash 实例后,可以创建管道进行数据同步。本文为您介绍如何创建一个 Logstash 管道,并将此管道用于将一个 Elasticsearch 集群中的索引同步到另一个 Elasticsearch 集群中。

操作步骤

登录控制台

登录 Elasticsearch Service 控制台,在左侧导航栏单击 Logstash 实例,进入 Logstash 实例列表页。

创建管道

在实例列表页,单击实例 ID/名称进入实例基本信息页,然后进入管道管理页签,单击新建管道,进入新建管道页面。
新建管道

在新建管道页面,输入 Config 配置,示例如下:
input {
elasticsearch {
hosts => ["http://x.x.x.x:9200"]
user => "elastic"
password => "password"
index => "test1"
docinfo => true
}
}

output {
elasticsearch {
hosts => ["http://x.x.x.x:9200"]
user => "elastic"
password => "password"
index => "index_a"
document_id => "doc_id_1"
}
}
参数说明:
hosts:elasticsearch 集群地址列表,input 中的 hosts 为源 elasticsearch 集群地址,output 中的 host 为目标 elasticsearch 集群的地址。
user:elasticsearch 集群账号。
password:elasticsearch 集群密码。
index:索引名称。
docinfo:是否在 event 中填充索引名称,type 以及 id 等文档元信息,默认为 false。
document_type:索引 type,若目标 elasticsearch 集群为7.x及以上的版本,不必设置该字段。
document_id:文档 ID。
在新建管道页面,输入参数配置(参数说明请参见 管道管理),示例如下:
参数配置

配置完成后,单击保存或者保存并部署
单击保存:保存管道信息到 Logstash 并触发实例变更,配置不会生效。保存后返回管道管理页。可在管道列表中选择操作 > 部署,触发实例重启生效。
单击保存并部署:保存并且部署后,触发实例重启生效。