1回答
我有几个要在AWS EMR上运行的长时间运行(流) flink作业。我从AWS控制台或使用aws cli阅读了执行此操作的步骤。但这是手动的。在生产环境中(在生产环境中，我可以有多个作业，可能还需要处理故障情况)，有哪些方法可以实现自动化？
浏览 28提问于2019-12-11得票数 1
1回答
我对flink很陌生，并试图将其部署到EMR集群上。我使用了3个节点集群(1个主服务器和2个从节点)进行默认配置。我没有做任何配置更改，并坚持默认配置。我很想了解以下几点：
主从是如何相互通信的，因为我还没有在主节点中提到任何IP？我可以在主节点(Path: /usr/lib/ flink )中看到flink库，但在从节点中找不到flink库。我的代码如何在从节点上执行？如果需要，我将根据conf/flink
浏览 1提问于2018-05-10得票数 3
我们正在使用emr上的yarn提交我们的flink(flink 1.8.0)作业。我们如何使用savepoint实现正常关机？stop命令无法识别-s或-p
浏览 15提问于2020-01-17得票数 1
回答已采纳
EMR-Flink作业显示错误“超出GC开销限制错误”。EMR群集使用默认EMR角色在VPC内创建。Hadoop和Flink选项是从高级选项中选择的(我尝试了不同版本的Hadoop和Flink) Step方法用于提交带有参数集的自定义jar。作业从Aurora DB读取数据 问题:当从Aurora DB读取请求的行数较少时，作业会成功执行，但随着行数增加到数百万，我开始收到"GC开销限制超过错误“。在我的本
浏览 44提问于2020-01-21得票数 0
回答已采纳
1回答
我是相对较新的Flink和检查以下是否是一个好的方式提交Flink的工作，而不发送罐子通过。注意:这在本地工作，我正在AWS EMR上进行试验。但想知道我在这里是否遗漏了什么，或者应该小心：public static void main(StringjobRef = env.executeAsync(); }
}
浏览 5提问于2022-02-14得票数 1
回答已采纳
我已经编写了flink作业来使用数据集和数据流api。我已经从相同的main()方法启动了这两个程序，但现在当我将作业提交到flink Dashboard时。只有dataset api程序正在运行，仪表板显示作业已完成，流未被触发，flink仪表板也未显示有关数据流执行的任何内容。但是，当我从eclipse运行时，数据集和数据流api程序都在运行。是否有其他方法可以将作业提
浏览 16提问于2017-07-12得票数 1
我在EMR上构建了很少的Spark结构化流查询，它们是长时间运行的查询，并且需要一直运行，因为它们都是ETL类型的查询，当我向EMR上的纱线集群提交作业时，我可以提交一个单一的spark应用程序。因此spark应用程序应该有多个流查询。 }我在我的主课堂上用SparkJo
浏览 0提问于2018-10-11得票数 17
回答已采纳
1回答
我正在尝试从python SDK运行一个基本的字数束管道，并在AWS EMR上使用flink yarn会话。我同时使用了flink runner和便携runner，得到了下面列出的两个不同的错误。这两种类型的运行器的作业都会显示在flink UI中，并在我的笔记本电脑上使用本地flink会话成功运行。使用FlinkRunner时，作业以BeamApp-hadoop-0617202523-14894e58的身份运行，并显示错误： ERROR:root:java.lang.
浏览 17提问于2020-06-18得票数 2
回答已采纳
1回答
我试图向EMR集群提交多个作业，但我只看到第一个处于运行状态的作业，rest都处于可接受的状态。我的大部分工作都是流作业。
我正在使用Java进行开发。任何投入都会很有帮助。
浏览 1提问于2020-07-18得票数 8
回答已采纳
3回答
我有一个Java应用程序午餐，一个flink作业来处理Kafka流。在flinkEnv.execute("flink job name")提交作业时，应用程序在这里挂起，因为作业将永远运行，以获取从kafka传入的流。
如何
浏览 3提问于2016-09-16得票数 0
我们正在使用Flink v1.12.2构建一个流处理作业，并计划在Kubernetes集群上运行它。在参考官方的Flink文档时，我们主要遇到了两种向Kubernetes集群提交Flink作业的方法，一种是在Standalone模式下，另一种是在Native模式下。
浏览 25提问于2021-04-18得票数 0
我正在用最新版本的flink 1.5在kubernetes上试用flink作业。我的问题是如何在上面的flink集群上运行一个示例应用程序。提供了如何使用flink应用程序构建docker镜像并将该应用程序提交给flink的信息。我遵循了示例，
浏览 0提问于2018-06-22得票数 1
众所周知，Flink有两个核心mode.So (数据流/数据集)，但是当我使用flink Sql客户端提交作业时，我不需要选择流或批处理API，因为Flink SQL客户端如何决定使用批处理模式和流模式那么，我想知道Flink SQL Client如何区分批处理模式和流模式？
浏览 29提问于2019-12-23得票数 0
回答已采纳
如果使用AWS EMR运行，是否有方法启动Flink web客户端以允许提交作业？我已经下载了FLink 1.1.2，在旧的文档中，我看到了对.
浏览 4提问于2016-09-12得票数 1
回答已采纳
1回答
我目前正在开发一个流处理应用程序，其中一个功能是获取在提交作业的时区时间内发生的事件，提交作业的时间+T。谢谢。
浏览 14提问于2020-05-24得票数 0
正在尝试在Amazon EMR Flink(5.21.0)上运行Flink(v1.7.0)作业。我得到了异常 java.lang.NoSuchMethodError: scala.Product.我发现flink库是SCALA 2.11，而我的工作是使用2.12构建的。Flink 1.7.0支持SCALA 2.12。 问题是，如何让Amazon EMR支持SCALA 2.12而不是2.11？
浏览 12提问于2019-03-01得票数 0
如何使用boto将步骤添加到正在等待的Amazon EMR作业流，而作业流在完成后不会终止？
我已经在Amazon的Elastic Map Reduce上创建了一个交互式作业流，并加载了一些表。当我使用Boto的emr_conn.add_jobflow_steps(...)向作业流传递新步骤时，作业流在完成或失败后终止。我知道可以使用带有keep_alive参数的run_jobflow使用boto启
浏览 6提问于2011-11-01得票数 1
回答已采纳
我正在使用此工具执行Flink作业。我认为两者都可以通过正确的配置来完成完全相同的任务。Kinesis Data Analytics是否做了EMR不能做的事情，反之亦然？Amazon Kinesis Data Analytics是分析流数据、获得可操作的洞察并实时响应业务和客户需求的最简单方法。您还可以在EMR中运行其他流行的分布式框架，如Apache Spark、HBase、Presto和Flink。
浏览 29提问于2019-05-17得票数 7
我们想要运行一个计划的flink作业。 我们有一个AWS EMR集群，并在其上运行Flink。 如何让DS管理EMR群集上的作业？
浏览 62提问于2021-01-15得票数 0
云服务器
ICP备案
对象存储
实时音视频
云直播
腾讯云开发者
