如何将一千万条信息植入卡夫卡？
如何将一千万条信息植入卡夫卡？
提问于 2019-05-03 21:22:24
根据我对实时分析的要求，我必须在Kafka中插入1000万张唱片，而且在此基础上，我还必须编写自定义的消费者logic.But来满足这一要求，我如何在3-5分钟内将1000万张唱片植入卡夫卡？
最好我们希望根据项目需求使用Spring引导。请建议
回答 3
Stack Overflow用户
回答已采纳
发布于 2019-05-05 09:49:12
若干备选方案：
- kafka-connect datagen，详见这篇文章。
- 像
kafkacat这样的命令行生成器： -b localhost:9092 -t testtopic -P
- For more realistic test data use this [in conjunction with Mockaroo](https://rmoff.net/2018/05/10/quick-n-easy-population-of-realistic-test-data-into-kafka/)
Stack Overflow用户
发布于 2019-05-04 08:09:55
您可以尝试使用流集工具，它具有数据生成器功能。它能快速生成数据。此外，这将帮助您的连接器和消费者/生产者，事实上，你可以做一些处理和过滤也在这里，所以理想的情况下，几乎没有编码，你就完成了。
Stack Overflow用户
发布于 2019-05-05 15:38:37
您可以在for循环中创建一个简单的生产者和produce。我做到了，它就像一种魅力。不要忘记不使用.flush()，如果您不想产生1味精/秒.
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/55977261
复制相关文章
相似问题
腾讯云开发者
