1回答
例如，我想测试卡夫卡/ Flink与FlinkKafkaConsumer011和FlinkKafkaProducer011的集成。这一进程将是：
当我说测试时，这是单元/集成测试。
谢谢!
浏览 0提问于2018-04-16得票数 3
如何使用kafka作为输入源测试Flink的性能。此外，建议是否有适用于此情况的性能测试工具。
浏览 15提问于2020-01-22得票数 0
回答已采纳
我正在Kubernetes上编写一个Flink应用程序，它可以读写Kafka，所以我需要一个Kafka集群来进行测试。我只是想找到在Kubernetes中运行Kafka集群的最简单的方法，它可能只是一个单节点集群，性能不是问题。
浏览 1提问于2019-10-24得票数 0
在将消息发布到flink应用程序的kafka主题时，会出现此错误。相同的代码在我们的测试环境中工作，具有类似的生产者配置，但在生产环境中失败。我找不到这个问题的原因。(ProducerFunction.java:80)
at com.ex******.streamplatform.sdk.kafka.flink.ProducerFunction$Tuple2ProducerFunction.apply(ProducerFunction
浏览 1提问于2022-04-15得票数 0
我计划了一个从Apache读取的应用程序，经过(可能耗时的)处理后，将数据保存到数据库中。我的例子是消息，而不是流，但为了可伸缩性，我正在考虑将其插入Spark或Flink，但无法理解这些扩展:我的应用程序，当Spark/Flink的一部分读取了Kafka的一些数据，然后退出或继续阅读吗？那么，Spark/Flink将如何决定他们必须生成更多的我的应用程序实例来提高吞吐量呢？
谢谢!
浏览 4提问于2017-09-20得票数 0
回答已采纳
2回答
我正在开发一个沉入Kafka的Flink应用程序。我创建了一个默认池大小为5的Kafka生产者。这是kafka生产者池大小或检查点的问题吗？.java:934) at org.apache.flink.streaming.
浏览 7提问于2020-03-21得票数 1
我们在比较风暴和弗林克。我们所做的就是开发风暴拓扑逻辑到flink应用程序。在风暴拓扑螺栓中使用的是Thread.sleep(100)，但在flink应用程序中，flink应用程序的性能并不好。下面是Flink并行性80的测试结果：
从kafka中消耗161073个数据，并在下一个任务中计算我们的业务逻辑，并将最后的接收器结果提交给文件。在Compute和Redis任务中使用Thread.sleep
浏览 13提问于2022-01-19得票数 0
1回答
但是所有输入在每个作业中都会消耗(来自kafka)，并生成重复的输出。我看到了flink面板。所有的工作‘记录发送’是3。我想必须拆分数字到我的工作。我使用此命令创建作业 bin/flink run app.jar 我怎么才能修复它？
浏览 46提问于2019-09-29得票数 0
回答已采纳
纱线上的Flink 1.13.2 (Flink SQL) -文件系统是“有界和无界扫描，Lookup我可以使用文件系统连接器(csv)来创建查找(维度)表来丰富Kafka事件表吗？如果是-如何使用Flink SQL？(我用FOR SYSTEM_TIME AS OF a.event_datetime尝试过简单的左联接--它在测试环境中使用少量的Kafka
浏览 1提问于2021-09-20得票数 1
回答已采纳
我正在尝试连接到本地机器上的Kafka (2.1)，并在随Flink (1.7.2)附带的shell中阅读。我正在做的事情是：:require flink-connector-kafka-base_2.11-1.7.1.jar
import org.apache.flink.streaming.connectors.kafka.FlinkK
浏览 0提问于2019-03-11得票数 1
回答已采纳
1回答
流在Hadoop中的应用
、、、、
在这个例子中，我确实看到他们创建了一个单独的应用程序(类似于流应用程序)，该应用程序生成和消费数据，并在数据上应用模式匹配。他们现在还没有在.Till(如卡夫卡)之间放置一个流层，单应用程序就足以满足这一目的，这使得它非常优化。现在，我知道，如果我使用Kafka，那么我需要两个应用程序；一个用于将数据摄取到Kafka主题中，另一个用于消费Kafka主题的数据。我有几个问题我没有得到回答：
为什么在这个例子中他们没有使用任何流层(比如Kafka) ?
浏览 2提问于2016-06-13得票数 0
我试图用Flink的KafkaSource运行一个简单的测试程序。我使用的方法如下：
import org.apache.flink.streaming.api.
浏览 3提问于2015-07-15得票数 5
问题
如果不可能，在Kafka<em
浏览 0提问于2018-05-02得票数 5
回答已采纳
因此，我正在尝试在我的Flink Kafka流媒体作业中启用EXACTLY_ONCE语义以及检查点。/KafkaExample.java下载测试样例代码 因此，运行此程序可以很好地工作。<init>(KafkaProducer.java:360) } 可以找到示例中的其他类：
浏览 73提问于2020-06-19得票数 8
即: Flink 1.8 -> (宁静，正式支持Druid0.9.2) -> Druid 0.20.1
未来: Flink 1.11 -> Kafka -> Druid 0.20.1使用推荐的.Flink应用程序生成Scala类的DataStream (在下面的代码中为ExampleData)。根据，Scala类属于“Flink提供的特殊序列化器”，但我不确定它是如何被序列化的，因此当Druid从Kafka主题读取它时，它是如何被反序列化的(
浏览 5提问于2021-08-06得票数 0
回答已采纳
Flink中的每个检查点都由于超时而失败，在作业的异常部分中，它会显示以下错误，但是作业本身并没有失败：当禁用检查点时，有关Kafka的一切都如预期的那样工作，所以我的假设是我还调整了TransactionTimeout和MaxBlo
浏览 19提问于2020-09-24得票数 2
回答已采纳
2回答
我希望有一个并行的Flink源，它使用内存中的阻塞队列.我的想法是让应用程序将元素推入这个队列，Flink管道会消耗并处理它们。
目前，我已经想出了以下内容，但是静态队列的使用对我来说并不合适。1.从每
浏览 1提问于2019-02-09得票数 1
在Flink SQL上使用带有Kerberos身份验证的Kafka数据源，Flink的本地测试已经通过，但当我将任务推到纱线上时，错误消息提示无法找到Kafka的JAAS文件！报告以下错误 at org.apache.<e
浏览 23提问于2022-01-24得票数 1
我正在运行一些实验来测试Apache的容错能力。我目前正在使用HiBench框架和为Flink实现的WordCount微基准。我注意到，如果在执行过程中杀死一个TaskManager，Flink操作符的状态会在自动“重新部署”之后恢复，但是会有很多(全部？)从基准发送到Kafka的元组被忽略(存储在Kafka中，但没有在Flink中接收)。
浏览 0提问于2018-04-06得票数 3
回答已采纳
我正在我的公司使用Flink，我正在考虑应用几种场景来查看每个案例的性能。下面是我将要处理的场景如您所见，我将使用mysql (RDB)作为接收器。当我们使用RDB至少一次或一次准确地使用RDB时，是否有描述性基准测试结果？我认为当接收器使用数据库时，吞吐量会受到影响，因为与数
浏览 4提问于2022-11-10得票数 0
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
