如何在GCS中使用Kafka connect输出到动态目录？
如何在GCS中使用Kafka connect输出到动态目录？
提问于 2019-03-25 05:34:45
我正在从Kafka主题中获取JSON数据。我需要将此数据转储到GCS (Google Cloud Storage)中的一个目录中，其中目录名将从JSON数据中的"ID“值中获取。
我在谷歌上搜索，没有发现任何类似的用例，其中Kafka Connect可以用来解释JSON数据，并根据JSON数据的值动态创建目录。这可以使用Kafka连接来实现吗？
回答 1
Stack Overflow用户
发布于 2019-03-25 06:07:13
使用大多数连接器，这是不可能开箱即用的。相反，您可以实现自己的Kafka Connect接收器任务，该任务处理Kafka记录，然后根据您的JSON将它们写入正确的GCS目录。
连接器中的Here's the method you'd override。
亚马逊网络服务S3接收器连接器的Here's a link to the source code。
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/55328799
复制相关文章
相似问题