卡夫卡沉入无汇流数据湖存储
我试图找到开源卡夫卡的选择，直接写到Azure数据湖存储Gen2。我似乎没有什么选择，主要是在汇合点周围盘旋，如下所示：
- 使用融合云与Apache需要订阅合流和付费(融合云与ADLS )
- 使用Azure VM与汇流集线器安装汇流平台
目前，我不愿意支付合流许可，也不想测试合流包(越来越多的包装和箍)
是否可以使用开源卡夫卡直接将数据写入ADLS Gen2？如果是，我们如何实现这一点，任何有用的信息共享？
回答 2
Stack Overflow用户
发布于 2021-06-08 23:29:54
首先，Kafka是Apache2授权的产品，是一个由插件组成的开放平台；融合平台/云并不是使用它的必要条件。您可以下载Azure连接器作为一个ZIP文件。并安装它就像其他人一样
无论如何，提供付费他们的软件和任何支持的许可协议，否则可能会有一个有限的试用期，您可以使用插件一段时间。是合流(或任何开发人员)的自由裁量权。
尽管如此，您并不“需要”汇合平台，如果您使用它，也没有“循环”，因为它只为Apache Kafka+Zookeeper添加了额外的功能，这不是它自己的事情(您可以在其他汇流产品中使用现有的Kafka安装)。
关于其他开源的东西。StackOverflow不是软件推荐或寻找工具/库的地方。您可以使用Spark/Flink/Nifi，但是，我肯定会重新实现类似于Kafka的管道，或者您也可以基于开源kafka-connect-storage-cloud项目编写自己的Kafka连接器，该项目用作S3、GCS和Azure、AFAIK的基础。
Stack Overflow用户
发布于 2021-06-09 16:51:27
有Apache连接器，它有一个Azure Datalake连接器，用于发送和接收数据。(接收器和源代码)检查一下：https://camel.apache.org/camel-kafka-connector/latest/connectors/camel-azure-storage-datalake-kafka-sink-connector.html --这是一种免费的解决方案，不需要使用汇合许可证或技术。
https://stackoverflow.com/questions/67895012
复制相似问题
腾讯云开发者
