1回答
PyFlink性能与Scala的比较
pyspark、apache-flink、spark-streaming、pyflink
如何将PyFlink性能与Flink + Scala进行比较？因此，Apache是纯流的，而不是Spark的微批，我倾向于选择Apache。但我唯一关心的是PyFlink的性能。PySpa
浏览 3提问于2021-11-05得票数 1
回答已采纳
1回答
当流不重要时
apache-spark、apache-flink
最近，我一直在比较火花和Flink的一个全新的项目。在这个项目中，流功能不是那么重要。对~(90) is数据进行批量分析是最重要的。稍后，我将在数据分析中应用ML和数据挖掘。在搜索时，我发现很多文章，演示和视频声称Flink是下一代的分析解决方案。没有多少文章能为火花辩护。另一方面，星火是(或曾经？)非常流行，并广泛部署在非常大的生产系统。我的问题是：对于我的用例来说，流并不重要，我是拥抱F
浏览 5提问于2017-05-19得票数 3
回答已采纳
1回答
风暴式间歇加工
apache-kafka、apache-storm、trident
我是风暴的新手，几乎没有什么基本问题。我对风暴的用例是流处理和批处理。用例2:风暴拓扑应该将元组作为一批元组进行处理。问:有没有办法，我可以说，一个特定的元组是结束的溪流和风暴应该告诉我什么时候处理完所有的元组？
是否Storm不是这样做的正确框架，因为它是用于流处理的(用例1)。风暴三叉戟对用例#2有帮助吗？
浏览 3提问于2015-09-22得票数 0
1回答
如何保留apache flink任务并在重启jobmanager时提交记录
apache-flink
我正在使用apache flink 1.10批量计算我的流数据，今天我将我的apache flink kubernetes(v1.15.2) pod从机器1移动到机器2，发现所有提交任务记录和任务列表都消失了重启apache flink的kubernetes pod时，如何保存提交记录和任务列表？我只发现checkpoint persistant，但没有关于任务的。如果丢失了正在运行的任务历史，我必须上传我的
浏览 4提问于2020-04-30得票数 0
1回答
Flink卡夫卡流相对于星火卡夫卡流的好处？卡夫卡流过弗林克？
apache-kafka、spark-streaming、apache-storm、apache-flink、apache-kafka-streams
在火花流中，我们设置了几乎实时的微批处理的批处理间隔。在Flink (DataStream)或Storm中，流是实时的，所以我想没有这样的批处理间隔的概念。在卡夫卡，消费者在拉，我想象星火使用批参数从卡夫卡经纪人提取消息，那么Flink和Storm是如何做到的呢？我设想Flink和Storm在一个快速循环中拉出Kafka消息形成实时流源，如果是这样的话，如果我将火
浏览 5提问于2016-10-24得票数 7
回答已采纳
1回答
Flink中的低延迟流与多个元数据流的结合(丰富)
apache-flink、flink-streaming
我正在为流分析方案评估Flink，并且还没有找到关于如何实现我们今天在遗留系统中所做的一种ETL设置的足够信息。一个非常常见的场景是，我们使用了关键的、慢吞吐量的元数据流，我们希望使用这些数据流在高吞吐量数据流上进行丰富，如下所示：这就引出了两个关于Flink的问题:如何通过缓慢更新时间窗口重叠但不相等的流来丰富快速移动的流如何有效地
浏览 3提问于2017-11-21得票数 1
回答已采纳
1回答
在Flink中有多个工作人员的全局状态可能吗？
apache-flink
在Flink文档中的任何地方，我都看到状态是映射函数和工作人员的独立状态。在独立的方法中，这似乎是强大的，但是如果Flink在集群中运行呢？Flink能否处理所有工作人员都可以添加数据并查询数据的全局状态？
为了在此设置中实现高吞吐量和低延迟，必须尽量减少任务之间的网络通信。在Flink中，流处理的网络通信只
浏览 0提问于2018-01-31得票数 5
1回答
Apache Flink存储
apache-flink
在处理了这数百万的事件/数据之后，哪里是保存信息的最佳地方？我看到一个关闭的提到了Parquet格式，但是，默认的是HDFS吗？我关心的是储蓄后(哪里？)如果它是容易的(快！)才能检索到数据？
浏览 3提问于2015-08-11得票数 5
2回答
什么意味着“广播状态”为Flink的CEP库的“动态模式”特性的实现打开了障碍？
apache-flink、flink-streaming、flink-cep
从Flink 1.5发布公告中，我们知道Flink现在支持“广播状态”，并描述了“广播状态为Flink的CEP库的”动态模式“特性的实现打开了障碍。”这是否意味着目前我们可以使用“广播状态”来实现“动态模式”而不需要Flink CEP？另外，我不知道在有或没有广播状态的情况下实现Flink CEP的“动态模式”有什么区别？=============
测试广播数据流的更新.使用键控-
浏览 1提问于2018-05-26得票数 0
回答已采纳
2回答
我怎么知道我已经吃掉了所有的卡夫卡话题？
apache-kafka、apache-flink
我使用的是Flink v1.4.0。我使用如下代码所示的Kafka FLink Consumer来使用Kafka主题中的数据：properties.setProperty(这是否足以确认我已经使用了Kafka主题中的所有数据？)
浏览 6提问于2018-01-25得票数 3
回答已采纳
1回答
流处理和批处理
apache-spark、stream、apache-flink、processing、pipeline
由于批处理的延迟是在累积特定数目的数据时产生的，我是否可以将“一的大小”的批处理视为流处理？或者当运算符进行计算时还有其他的区别吗？例如，如果我将基于火花的程序的批处理大小设置为1，是否可以使其延迟降低到flink？我的一种想法是:对于流处理，如果处理了前一个操作符，一个数据流就会从前一个操作符流到后一个操作符，但是对于批处理过程，只有在操作符处理完一个数据之后，它才能接受另一个数
浏览 9提问于2022-11-14得票数 0
1回答
用动态限制Flink中的网络流量
apache-flink、flink-streaming、amazon-kinesis、amazon-kinesis-analytics
我在Amazon的服务(托管Flink集群)中运行了一个Flink应用程序。在这个应用程序中，我从一个名为keyBy userId的动态流中读取用户数据，然后聚合一些用户信息。在询问之后，我了解到Flink将在集群中的物理主机上拆分流的读取。Flink然后将传入的事件转发给将聚合器任务分配给对应于给定事件的键空间的主机。考虑到这一点，我正试图决定如何使用什么作为我的</em
浏览 4提问于2020-02-18得票数 0
回答已采纳
1回答
基于Kubernetes的Apache部署-可用性和可伸缩性
kubernetes、apache-flink、flink-streaming
我希望使用同样的方法来部署我的一些Flink作业。Flink作业是关键的-有些作业是无状态的，它们处理每一个数据(准确地说是一次)，有些作业是有状态的，可以在流中查找模式或对时间作出反应。没有作业能够容忍长时间的停机或频繁的关闭(因为编程错误，Flink退出的方式)。
我发现文档大多倾向于将k8s中的Flink作业部署为Job
浏览 0提问于2020-02-13得票数 3
1回答
Flink流，“sum”到底是做什么的？
java、apache-flink、flink-streaming
我很难理解流，以工作计数为例，对于卡夫卡这样的无限源，“和”到底是做什么的？returns(Types.TUPLE(Types.STRING, Types.LONG)) .sum(1);
开始时间和结束时间是多少？当第三次Flink收到单词“foo”时，“sum”
浏览 1提问于2019-03-06得票数 0
回答已采纳
1回答
非法的反射访问操作会阻止程序运行吗？
java、apache-flink
我正在从事一个项目使用java和flink来建立一个推文数据流。(file:/home/haydn/.m2/repository/org/apache/flink/flink-core/1.4.2/flink-core-1.4.2.jar) to field java.nio.Buffer.addressaccess operations
WARNING: All illegal access operat
浏览 237提问于2018-06-08得票数 1
1回答
减少并加入窗口
apache-flink
我要把两个关键的溪流连接到一个窗口上。但是，我需要首先减少这两个流，然后在聚合上应用连接，所有这些都在同一个窗口中。我花了一段时间研究Flink API，发现这样的应用函数存在于WindowedStream中。问:这会对Flink有帮助吗？有什么办法我现在可以用吗。
浏览 6提问于2016-06-02得票数 1
回答已采纳
1回答
Apache Flink:如何为键控CoFlatMapFunction划分事件？
apache-flink、flink-streaming
这是一个关于连接的键控流的非常基本的问题。如果我有两个流，具有共享相同逻辑键的相关事件，并且这些流正在连接(使用键逻辑连接)，并且都以> 1的并行性运行，那么Flink如何保证来自不同流的两个具有相同逻辑键的事件最终在同一并行操作符实例中？Flink将保证患者"JohnDoe“的所有Temperature事件都将在相同的<
浏览 79提问于2018-06-03得票数 0
回答已采纳
1回答
Flink:支持多个执行环境吗？
join、apache-flink、environment、flink-streaming
在Flink程序中创建多个ExecutionEnvironments可以吗？更具体地说，在相同的主方法中创建一个ExecutionEnvironment和一个StreamExecutionEnvironment，这样就可以处理批处理，然后再传输到流，而不会出现问题？我猜另一种可能是将程序分成两部分，但为了我的测试目的，这似乎更好。Flink为这种情况做好准备了吗？所有这些看起来都很好，但当join在一个公共索引上运行两个流并使用window(TumblingProcessingTimeW
浏览 6提问于2019-10-10得票数 1
回答已采纳
1回答
以字符串值表示的Apache Flink表查询结果
java、apache-flink、flink-sql
我正在从flink表api编写一个查询来检索一条记录。然后检查是否找到一条记录，如果找到，则获取该记录的每个列值的字符串值。name | phone || 01| sam | 23354 || 03| kim | 23351 |sudo代码：
foundRecord = find recor
浏览 4提问于2020-05-30得票数 0
回答已采纳
1回答
StreamTableEnvironment能够针对批处理流运行吗？
apache-flink
然而，可以使用流执行模式在那里处理有界流，但效率较低。这是否意味着StreamTableEnvironment可以处理批处理流，但效率较低，因为不能将StreamTableEnvironment配置为在批处理模式下运行？
浏览 8提问于2021-07-29得票数 0
回答已采纳
云服务器
对象存储
ICP备案
云点播
腾讯会议
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号