在通过 CKafka 连接器进行数据处理的过程中,DIP 支持多种方式对解析后的数据进行格式转换,本文介绍相关的操作方法。
数据转换
输入原始数据,以下为一个示例。
{"@timestamp": "2022-02-26T22:25:33.210Z","beat": {"hostname": "test-server","ip": "6.6.6.6","version": "5.6.9"},"input_type": "log","message": "{\\"userId\\":888,\\"userName\\":\\"testUser\\"}","offset": 3030131}
解析结果如下:
![](https://qcloudimg.tencent-cloud.cn/image/document/7a3aba433cd06b69d56f68e216e07f27.png)
![](https://qcloudimg.tencent-cloud.cn/image/document/7a3aba433cd06b69d56f68e216e07f27.png)
连接器处理方式如下:
方式一:通过选择相应的处理 value 功能一键定义规则。
![](https://qcloudimg.tencent-cloud.cn/image/document/b5f859dec8024a79fb68ac3c6631c3a0.png)
![](https://qcloudimg.tencent-cloud.cn/image/document/b5f859dec8024a79fb68ac3c6631c3a0.png)
方式二:通过选择数据类型一键更改相应字段的数据格式。
![](https://qcloudimg.tencent-cloud.cn/image/document/f951944ba8ed280c0521150d9411c0aa.png)
![](https://qcloudimg.tencent-cloud.cn/image/document/f951944ba8ed280c0521150d9411c0aa.png)
更改前:
![](https://qcloudimg.tencent-cloud.cn/image/document/3c90f4d6ac3ec616b3642eb2c66b6599.png)
![](https://qcloudimg.tencent-cloud.cn/image/document/3c90f4d6ac3ec616b3642eb2c66b6599.png)
更改后:
![](https://qcloudimg.tencent-cloud.cn/image/document/86efcbfb8143e71f3e930d175a083227.png)
![](https://qcloudimg.tencent-cloud.cn/image/document/86efcbfb8143e71f3e930d175a083227.png)
方式三:通过 JSONPATH 语法实现 join 的拼接功能。关于 JsonPath 语法的详细介绍请参见 JsonPath 说明。
![](https://qcloudimg.tencent-cloud.cn/image/document/9065eedacfc8623dcf774a30f47b85c9.png)
![](https://qcloudimg.tencent-cloud.cn/image/document/9065eedacfc8623dcf774a30f47b85c9.png)