如何将Azure事件中心(kafka界面)的事件集成到google云发布/订阅
如何将Azure事件中心(kafka界面)的事件集成到google云发布/订阅
提问于 2021-06-03 11:47:19
我有一个需求，我需要在Azure事件中心使用kafka主题。需要创建将使用作为参数提供的主题的POST端点。消息必须以kafka主题为属性，以消息内容为主体，在公共子主题上发送。
这是一个很高的要求。我看过这里以了解如何实现这一目标。但是，如果有人实时地实现了这一功能，即从Azure事件中心到google的事件，或者曾经进行过类似的实现，请提供帮助。
回答 1
Stack Overflow用户
回答已采纳
发布于 2021-06-10 07:58:18
正如评论部分所讨论的，为了进一步为社会作出贡献，我现将我们讨论的摘要作为答案。
由于数据的目的地是BigQuery，所以可以在数据流中使用卡夫卡到BigQuery模板，可以使用此模板将json消息从Kafka加载到BigQuery。此外，根据文件，
如何使用这个数据流模板 Kafka来BigQuery该模板创建了一个流管道，它从BigQuery获取JSON数据，执行一个可选的JavaScript用户定义函数(UDF)，并将结果记录写入BigQuery。在转换数据、执行UDF或写入BigQuery期间发生的任何错误都将写入BigQuery中的一个单独的错误表中。如果错误表不存在，将创建该表。管道要求
- Kafka主题存在，消息被编码为有效的JSON。
- 存在BigQuery输出表。
- 卡夫卡经纪人可以从数据流工人机器联系到。
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/67820912
复制相关文章
相似问题
腾讯云开发者
