首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >问答首页 >使用Apache Flink进行数据流

使用Apache Flink进行数据流
EN

Stack Overflow用户
提问于 2016-06-10 00:12:54
回答 1查看 1.5K关注 0票数 3

我正在构建一个要求低于要求的应用程序,我刚刚开始使用flink。

  • 摄入卡夫卡的数据,比如50个分区(输入速率- 100,000毫希/秒)
  • 从Kafka读取数据并对每一数据进行实时处理(进行一些计算、与旧数据的比较等)
  • 将输出存储在Cassandra上

我正在寻找一个实时流媒体平台,并发现Flink是一个非常适合实时和批处理。

  • 您认为flink最适合我的用例吗?还是应该使用Storm、Spark流或任何其他流平台?
  • 我是否需要在google数据流中编写数据管道来执行flink上的步骤序列,还是有其他方法来执行实时流的步骤序列?
  • 假设我的每一次计算花费大约20毫秒,我如何更好地使用flink来设计它并获得更好的吞吐量。
  • 我可以使用Redis或Cassandra为每次计算在flink中获取一些数据吗?
  • 我能在flink中使用JVM内存缓存吗?
  • 此外,我还可以根据某个时间窗口(例如5秒)根据键聚合数据。例如,假设有100条消息传入,10条消息具有相同的密钥,我能用相同的键将所有消息分组并进行处理吗?
  • 是否有关于使用flink的最佳实践的教程?

谢谢,感谢你的帮助。

EN

回答 1

Stack Overflow用户

发布于 2016-06-10 09:19:34

鉴于您的任务描述,Apache看起来很适合您的用例。

通常,Flink提供低延迟和高吞吐量,并有一个参数对这些参数进行调优。您可以从Redis或Cassandra读取和写入数据。但是,您也可以使用在Flink中内部存储状态。Flink也有对windows的复杂支持。您可以阅读Flink网站上的博客,查看文档以获得更多信息,也可以按照此Flink训练来学习API。

票数 2
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/37738102

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档