Flink实践-使用 Elasticsearch 作为目的端
原创Flink实践-使用 Elasticsearch 作为目的端
原创
吴云涛
修改于 2021-10-18 09:21:38
修改于 2021-10-18 09:21:38
实时即未来，最近在腾讯云 Oceanus 进行实时计算服务，分享给大家~
本次实践通过流计算 Oceanus （Flink）把数据写入到 ES 目的端。
注意点：
- 使用 ES 作为 Sink 时，若源端为MySQL等数据库需要捕捉数据变化使用 MySQL-CDC时，需使用upsert方式插入数据。不能使用append方式。
- 记录中字段有timestamp类型时，需指定类型长度（timestamp(3))，否则会报以下错误。
语法检查失败：org.apache.flink.table.api.ValidationException: Type TIMESTAMP(6) of table field 'create_time' does not match with the physical type TIMESTAMP(3) of the 'create_time' field of the TableSink consumed type.
原创声明：本文系作者授权腾讯云开发者社区发表，未经许可，不得转载。
如有侵权，请联系 cloudcommunity@tencent.com 删除。
原创声明：本文系作者授权腾讯云开发者社区发表，未经许可，不得转载。
如有侵权，请联系 cloudcommunity@tencent.com 删除。
评论
登录后参与评论
推荐阅读
相关产品与服务
Elasticsearch Service
腾讯云 Elasticsearch Service（ES）是云端全托管海量数据检索分析服务，拥有高性能自研内核，集成X-Pack。ES 支持通过自治索引、存算分离、集群巡检等特性轻松管理集群，也支持免运维、自动弹性、按需使用的 Serverless 模式。使用 ES 您可以高效构建信息检索、日志分析、运维监控等服务，它独特的向量检索还可助您构建基于语义、图像的AI深度应用。