ElasticSearch 目标

最近更新时间:2023-12-12 10:01:54

我的收藏
通过事件规则,您可以将收集到的事件投递到指定的投递目标完成处理与消费,目前事件总线支持 ElasticSearch(以下简称为 ES)作为投递目标,满足后续的分析与数据持久化需求。
说明:
事件目标触达次数默认限频为:2000次/天。

操作场景

ES 事件目标可以更好地支持 ETL 场景与数据分析场景,尤其是针对日志数据的处理、分析、转储;同时后续能够满足 CSV 等结构化数据交付的需求。

主要功能

支持自定义事件投递,自定义事件上报方案。
支持 ES6、ES7 等不同版本的 ElasticSearch。
支持自定义索引名前缀、索引轮换功能,自动生成目标索引名称。
针对 DTS 场景,支持自定义 DTS 事件配置。

操作指南

在投递目标之前,选择合适的事件集,您可以选择云服务事件集和自定义事件集。
云服务事件集:用于接收云服务告警、审计等类型事件,如希望配置告警,您需要在该事件集下绑定告警规则。
自定义事件集:用于接收业务自定义事件,如消息队列事件处理、微服务架构解耦等,需要主动投递事件到对应事件集。
当事件源产生事件后,会根据指定事件规则投递到 ES 事件目标中,进行数据的分析、处理等操作。

配置事件集

1. 登录事件总线控制台,选择左侧导航栏中的 事件集
2. 单击新建事件集,根据页面提示填写相关信息。如下图所示:


投递配置:需选择默认投递,事件总线会自动为您将命中规则但投递失败的事件,上报至指定日志集。
3. 单击确定
4. 在事件集列表页,单击进入已经创建完成的事件集。
5. 事件集详情 > 基本信息中,选择事件连接器右侧的添加
6. 在“新建事件连接器”弹窗中,据页面提示填写相关信息。本文以 配置 DTS 连接器 为例。如下图所示:



配置事件规则

1. 登录事件总线控制台,选择左侧导航栏中的 事件集
2. 在事件集列表页,选择已经创建完成的事件集。
3. 在事件集详情页,单击管理事件规则
4. 在事件规则列表页,单击新建。如下图所示:



事件匹配:用于事件的过滤筛选。在此处定义何种事件可以被匹配触发,可以配置自定义事件匹配模式,或者选择已有的模板规则。本文选择数据订阅(DTS),即所有来自数据订阅(DTS)的事件都可以通过匹配。所有来自 TDMQ 消息队列的事件都可以通过匹配。
事件目标:事件最终触发的目标。在绑定投递目标时,本文选择 Elasticsearch
5. 单击完成,创建成功后即可在事件规则列表页查看。如下图所示:



流程测试

1. 登录 Mysql 实例,以新建数据表为例。
CREATE TABLE IF NOT EXISTS `runoob_tbl`(
`runoob_id` INT UNSIGNED AUTO_INCREMENT,
`runoob_title` VARCHAR(100) NOT NULL,
`runoob_author` VARCHAR(40) NOT NULL,
`submission_date` DATE,
PRIMARY KEY ( `runoob_id` )
)ENGINE=InnoDB DEFAULT CHARSET=utf8;
2. 查看 ES 日志记录。如下图所示:
enter image description here


3. 登录 Kibana 查看记录,投递成功。如下图所示: