我在Kafka中有主题是以Avro格式存储的。我想消费整个主题(在收到时不会更改任何消息),并将其转换为Parquet,直接保存在S3上。 我目前是这样做的,但它要求我一次使用一个来自Kafka的消息,并在本地机器上进行处理,将它们转换为拼图文件,一旦使用完整个主题并完全写入拼图文件,就关闭编写过程,然后启动一个S3多部分文件上传。或者简称为| Avro in Kafka -> convert to parquet on local -> copy file to S3 |。 我想要做的是| Avro in Kafka -> parquet in S3 | 其中一个注意事项
我已经检查了以下链接:
var restify = require('restify'); console.log('%s listening to %s', server.name, server.url);
// Create chat connectorfor communicating with the Bot