我正在寻找一个长期运行流处理的Flink示例工作用于测试目的。我检查了Flink项目中包含的流/字数，但它似乎运行时间不长，在处理输入文件后，它退出了。 我需要自己写一个吗？获得无休止流输入的最简单方法是什么？
浏览 11提问于2019-10-17得票数 1
回答已采纳
我有一个使用Apache Flink (flink版本: 1.8.1)的作业流，使用scala。有如下流作业要求: Kafka ->写入Hbase ->再次发送到kafka使用不同的主题 在写入Hbase的过程中，需要从另一个表中检索数据。为了确保数据不为空(NULL)，作业必须(在一定时间内)重复检查数据是否为空。 Flink可以做到这一点吗？如果是，您能提供与我的需求类似的情况<em
浏览 46提问于2020-12-21得票数 1
我希望使用同样的方法来部署我的一些Flink作业。Flink作业是关键的-有些作业是无状态的，它们处理每一个数据(准确地说是一次)，有些作业是有状态的，可以在流中查找模式或对时间作出反应。没有作业能够容忍长时间的停机或频繁的关闭(因为编程错误，Flink退出的</em
浏览 0提问于2020-02-13得票数 3
1回答
我有几个要在AWS EMR上运行的长时间运行(流) flink作业。我从AWS控制台或使用aws cli阅读了执行此操作的步骤。但这是手动的。在生产环境中(在生产环境中，我可以有多个作业，可能还需要处理故障情况)，有哪些方法可以实现自动化？
浏览 28提问于2019-12-11得票数 1
我完全是阿帕奇·弗林克的菜鸟。只是想弄脏我的手。我有下面的场景。事件数据报
我正在学习动态表和Flink SQL的概念。我不知道如何进一步处理。有人能帮帮我吗？
浏览 0提问于2018-02-09得票数 0
3回答
我试图从oreilly书“用Apache进行流处理”和flink项目中运行第一个示例。每个错误都是不同的
这一切都
浏览 7提问于2020-04-05得票数 1
回答已采纳
众所周知，Flink有两个核心mode.So (数据流/数据集)，但是当我使用flink Sql客户端提交作业时，我不需要选择流或批处理API，因为Flink SQL客户端如何决定使用批处理模式和流模式那么，我想知道Flink SQL Client如何区分批处理模式和流模式？
浏览 29提问于2019-12-23得票数 0
回答已采纳
1回答
当我的制作人把所有的消息都流到Kafka之后，在Flink完成处理之后，我希望能够终止Flink作业，这样它就不会继续运行了，这样我就可以知道Flink什么时候完成了所有的数据处理。我也不能使用批处理，因为我需要Flink运行平行于我的Kafka流。通常，Flink在一个isEndOfStream类中使用DeserializationSchema方法来查看它是否应该提前结束(返回方
浏览 13提问于2022-10-03得票数 0
1回答
我已经在批处理中使用了apache一段时间，但现在我们希望将这个批处理作业转换为流作业。我遇到的问题是如何运行端到端的测试。如何在批处理作业中工作
我们希望对流<
浏览 1提问于2018-07-09得票数 4
回答已采纳
3回答
我有一个Java应用程序午餐，一个flink作业来处理Kafka流。在flinkEnv.execute("flink job name")提交作业时，应用程序在这里挂起，因为作业将永远运行，以获取从kafka传入的流。
在这种情况下，如何从执行过程中返回作业id？我看到控制台里打印的是假名。只是想知道，如何得到flinkEnv.execute还没有回来的情况下<
浏览 3提问于2016-09-16得票数 0
1回答
我正在尝试使用Flink 2.1.0从mysql日志表中读取流数据，但是，它只读取一次，然后它将停止该过程。我希望它继续读取，如果有传入的数据，并打印它。以下是我的代码09:15:56,406 INFO org.apache.flink.runtime.client.JobCl
浏览 72提问于2017-02-22得票数 2
1回答
Flink群集详细信息，Flink版本：1.11我们使用PackagedProgram从流作业中提交Flink批处理作业，但是我们的要求是一次只执行一个作业，假设我们从源获得2个事件，所以理想的情况下，必须触发2个批处理作业(每个事件)，但每次只能执行一个。为了实现这一点，我们使用了client.
浏览 4提问于2020-09-22得票数 0
回答已采纳
基于Flink Scala快速入门，我已经创建了一个使用org.apache.flink.streaming.connectors.twitter.TwitterSource的示例作业。我使用本地流作业管理器/start-local-streaming.sh，并使用~/flink-0.10.0/bin/flink run target/quickstart-0.1.jar启动作
浏览 0提问于2015-12-04得票数 2
1回答
我使用的是Flink 1.12。我想读取csv，并根据处理时间进行翻滚窗口分组。代码如下，但是查询sql_tubmle_window没有输出，我想知道问题出在哪里 import org.apache.flink.streaming.api.scala._import org.apache.flink.types.Row
object Sql017_ProcessTimeAttribute
浏览 5提问于2021-05-02得票数 0
回答已采纳
2回答
我们正在部署一个新的Flink流处理作业，它的状态(存储)需要使用历史数据进行初始化，并且在开始处理任何新的应用程序事件之前，这些数据应该在状态存储中可用。我们不希望大幅修改Flink作业来加载历史数据。我们考虑编写另一个单独的Flink作业来处理历史数据，更新它的状态存储并创建一个保存点，并使用这个保存点来初始化主Fl
浏览 47提问于2021-04-23得票数 0
我正在运行一个流flink作业，它消耗了kafka的流数据，并对flink映射函数中的数据进行了处理，并将数据写入Azure数据湖和弹性搜索。对于map函数，我使用了一个并行性，因为我需要在作为全局变量维护的数据列表上逐个处理传入的数据。现在，当我运行这项工作时，flink开始从kafka获取流数据，它的背压在映射函数中变得很高。有什么设置或配置
浏览 6提问于2017-07-22得票数 1
我在线程"main“中得到了一个异常:类org.apache.flink.state.api.runtime.SavepointLoader试图访问受保护的方法org.apache.flink.runtime.state.filesystem.AbstractFsCheckpointStorage.resolveCheckpointPointer和org.apache.flink.runtime.state.filesystem.AbstractFsCheckpointStorage在加载程序的
浏览 0提问于2020-01-20得票数 1
回答已采纳
1回答
我目前正在开发一个流处理应用程序，其中一个功能是获取在提交作业的时区时间内发生的事件，提交作业的时间+T。谢谢。
浏览 14提问于2020-05-24得票数 0
我是Flink的新手。如何了解flink的生产群集要求。以及如何在纱线集群模式下确定每个作业执行的作业内存、任务内存和任务槽。对于ex-我每天必须使用数据流处理大约6-7亿条记录，因为它是实时数据。
浏览 20提问于2020-07-11得票数 0
回答已采纳
到目前为止，我已经知道了如何提交在构建作业中创建的jar文件。现在，我想找到任何与旧jar一起运行的Flink作业，优雅地停止它们，并利用我的新jar开始一个新的工作。API具有列出作业、取消作业和提交作业的方法。但是，似乎没有停止作业端点。对于如何优雅地停止使用API的作业有什么想法吗？
浏览 4提问于2017-08-04得票数 2
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
腾讯会议
云直播
对象存储活动推荐
腾讯云开发者
