首页
学习
活动
专区
圈层
工具
发布
首页
学习
活动
专区
圈层
工具
MCP广场
社区首页 >问答首页 >Apache flink与Apache Beam (带flink转轮)

Apache flink与Apache Beam (带flink转轮)
EN

Stack Overflow用户
提问于 2022-07-14 19:35:03
回答 1查看 499关注 0票数 0

我正在考虑为不同的流处理应用程序使用Flink或Apache (与flink运行器一起)。我试图比较这两种选择,并做出更好的选择。下面是我正在研究的标准,并且我很难为flink跑步者找到信息(我已经找到了flink独立的所有信息):

使用Kubernetes (轻松) use

  • Scalability

  • Latency

  • Throughput

  • Versatility

  • Metrics generation

  • Can 部署
  • 轻松

以下是我认为我也知道答案的其他准则:

执行有状态操作的能力:是的,both

  • Exactly-once保证:是的,both

  • Integrates很好,卡夫卡:是的,两者都支持:
  • Flink: Java,Scala,Python,SQL
  • Beam: Java,Python,GO

如果您对flink跑步者的这些标准有任何见解,请告诉我!如果我找到答案,我会更新这篇文章!

更新:我发现关于使用Beam的优点的好文章(不要看气流部分):https://www.astronomer.io/blog/airflow-vs-apache-beam/

EN

回答 1

Stack Overflow用户

发布于 2022-07-14 20:55:00

类似于OneCricketeer的评论,比较这2是相当主观的。

如果你完全确定你要使用FlinkRunner,你可以直接使用Flink。如果Beam与您希望在将来使用的特定FlinkRunner版本不兼容(或者如果有bug),它可以节省您的麻烦。如果您确信您将要使用的所有I/O都得到Flink的良好支持,并且您知道在哪里/如何设置您的FlinkRunner (在不同的模式下),那么只使用Flink是有意义的。

如果您考虑在将来迁移到其他语言/运行程序,Beam提供了语言和运行程序的可移植性,您可以编写一次管道并在任何地方运行。

Beam支持的不仅仅是Java、Python和Go:

https://github.com/robertwb/beam-javascript

  • Euphoria API

  • SQL

  • JavaScript

跑步者:

  • DataflowRunner
  • FlinkRunner
  • NemoRunner
  • SparkRunner
  • SamzaRunner
  • Twister2Runner

详细信息可以在https://beam.apache.org/roadmap/上找到。

票数 1
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/72985800

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档