如何向EMR提交flink流作业？
向EMR提交Flink流作业的步骤如下：
- 首先，确保已经在EMR集群上安装了Flink。EMR是亚马逊提供的一种云计算服务，用于在云中运行大数据应用程序。Flink是一种流式处理框架，用于处理实时数据流。
- 登录到EMR控制台，选择相应的EMR集群。
- 在EMR集群的主页上，点击"应用程序"选项卡，然后点击"添加应用程序"按钮。
- 在弹出的对话框中，选择"Apache Flink"作为应用程序类型。
- 在配置页面上，填写Flink作业的相关信息，包括作业名称、作业类型（流作业）、作业主类、作业参数等。
- 在"高级选项"部分，可以配置Flink作业的资源分配、并行度、检查点等。
- 点击"下一步"继续。
- 在"步骤3：选择硬件"页面上，选择要在EMR集群上运行Flink作业的实例组。
- 点击"下一步"继续。
- 在"步骤4：配置启动和关机行为"页面上，可以选择启动和关机时的操作。
- 点击"下一步"继续。
- 在"步骤5：审查"页面上，确认配置信息无误后，点击"创建和运行作业"按钮。
- EMR将会启动Flink作业，并在集群上分配相应的资源。
- 可以在EMR控制台的"作业"选项卡中查看作业的状态和日志。
总结：通过以上步骤，可以向EMR提交Flink流作业。EMR提供了简单易用的界面来配置和管理作业，同时提供了强大的资源调度和监控功能，使得运行Flink作业变得更加便捷和高效。
推荐的腾讯云相关产品：腾讯云EMR（Elastic MapReduce），是腾讯云提供的一种大数据处理服务，类似于亚马逊的EMR。腾讯云EMR支持Flink等多种大数据框架，可以方便地提交和管理Flink流作业。
更多关于腾讯云EMR的信息，请访问腾讯云官方网站：腾讯云EMR
相关·内容
1回答
如何向EMR提交flink流作业？
apache-flink、airflow、amazon-emr、flink-streaming
我有几个要在AWS EMR上运行的长时间运行(流) flink作业。我从AWS控制台或使用aws cli阅读了执行此操作的步骤。但这是手动的。在生产环境中(在生产环境中，我可以有多个作业，可能还需要处理故障情况)，有哪些方法可以实现自动化？
浏览 28提问于2019-12-11得票数 1
1回答
Flink EMR装置
apache-flink、amazon-emr
我对flink很陌生，并试图将其部署到EMR集群上。我使用了3个节点集群(1个主服务器和2个从节点)进行默认配置。我没有做任何配置更改，并坚持默认配置。我很想了解以下几点：
主从是如何相互通信的，因为我还没有在主节点中提到任何IP？我可以在主节点(Path: /usr/lib/ flink )中看到flink库，但在从节点中找不到flink库。我的代码如何在从节点上执行？如果需要，我将根据conf/flink
浏览 1提问于2018-05-10得票数 3
1回答
Yarn - savepoint上的Apache Flink
apache-flink、hadoop-yarn、flink-streaming
我们正在使用emr上的yarn提交我们的flink(flink 1.8.0)作业。我们如何使用savepoint实现正常关机？stop命令无法识别-s或-p
浏览 15提问于2020-01-17得票数 1
回答已采纳
1回答
EMR群集上的Flink作业“超出GC开销限制”
garbage-collection、apache-flink、amazon-emr
EMR-Flink作业显示错误“超出GC开销限制错误”。EMR群集使用默认EMR角色在VPC内创建。Hadoop和Flink选项是从高级选项中选择的(我尝试了不同版本的Hadoop和Flink) Step方法用于提交带有参数集的自定义jar。作业从Aurora DB读取数据 问题:当从Aurora DB读取请求的行数较少时，作业会成功执行，但随着行数增加到数百万，我开始收到"GC开销限制超过错误“。在我的本
浏览 44提问于2020-01-21得票数 0
回答已采纳
1回答
应用模式下的Flink查询提交
apache-flink、flink-streaming、flink-sql
我是相对较新的Flink和检查以下是否是一个好的方式提交Flink的工作，而不发送罐子通过。注意:这在本地工作，我正在AWS EMR上进行试验。但想知道我在这里是否遗漏了什么，或者应该小心：public static void main(StringjobRef = env.executeAsync(); }
}
浏览 5提问于2022-02-14得票数 1
回答已采纳
2回答
除了使用他们的仪表板之外，如何提交flink作业？
apache-flink、flink-streaming
我已经编写了flink作业来使用数据集和数据流api。我已经从相同的main()方法启动了这两个程序，但现在当我将作业提交到flink Dashboard时。只有dataset api程序正在运行，仪表板显示作业已完成，流未被触发，flink仪表板也未显示有关数据流执行的任何内容。但是，当我从eclipse运行时，数据集和数据流api程序都在运行。是否有其他方法可以将作业提
浏览 16提问于2017-07-12得票数 1
2回答
如何在单个Spark应用程序中启动多个流查询？
apache-spark、spark-structured-streaming
我在EMR上构建了很少的Spark结构化流查询，它们是长时间运行的查询，并且需要一直运行，因为它们都是ETL类型的查询，当我向EMR上的纱线集群提交作业时，我可以提交一个单一的spark应用程序。因此spark应用程序应该有多个流查询。 }我在我的主课堂上用SparkJo
浏览 0提问于2018-10-11得票数 17
回答已采纳
1回答
在EMR上运行带有flink纱线会话的束流管道
apache-flink、hadoop-yarn、apache-beam、amazon-emr
我正在尝试从python SDK运行一个基本的字数束管道，并在AWS EMR上使用flink yarn会话。我同时使用了flink runner和便携runner，得到了下面列出的两个不同的错误。这两种类型的运行器的作业都会显示在flink UI中，并在我的笔记本电脑上使用本地flink会话成功运行。使用FlinkRunner时，作业以BeamApp-hadoop-0617202523-14894e58的身份运行，并显示错误： ERROR:root:java.lang.
浏览 17提问于2020-06-18得票数 2
回答已采纳
1回答
如何向单个AWS EMR集群提交多个火花作业
java、apache-spark、spark-streaming、amazon-emr
我试图向EMR集群提交多个作业，但我只看到第一个处于运行状态的作业，rest都处于可接受的状态。我的大部分工作都是流作业。
我正在使用Java进行开发。任何投入都会很有帮助。
浏览 1提问于2020-07-18得票数 8
回答已采纳
3回答
关于卡夫卡Flink流的几个问题
apache-flink、flink-streaming
我有一个Java应用程序午餐，一个flink作业来处理Kafka流。在flinkEnv.execute("flink job name")提交作业时，应用程序在这里挂起，因为作业将永远运行，以获取从kafka传入的流。
如何
浏览 3提问于2016-09-16得票数 0
1回答
Kubernetes上的Flink
apache-flink、flink-streaming
我们正在使用Flink v1.12.2构建一个流处理作业，并计划在Kubernetes集群上运行它。在参考官方的Flink文档时，我们主要遇到了两种向Kubernetes集群提交Flink作业的方法，一种是在Standalone模式下，另一种是在Native模式下。
浏览 25提问于2021-04-18得票数 0
1回答
在kubernetes上运行flink作业
kubernetes、apache-flink
我正在用最新版本的flink 1.5在kubernetes上试用flink作业。我的问题是如何在上面的flink集群上运行一个示例应用程序。提供了如何使用flink应用程序构建docker镜像并将该应用程序提交给flink的信息。我遵循了示例，
浏览 0提问于2018-06-22得票数 1
1回答
Flink SQL客户端如何区分批处理模式和流模式？
apache-flink、flink-sql
众所周知，Flink有两个核心mode.So (数据流/数据集)，但是当我使用flink Sql客户端提交作业时，我不需要选择流或批处理API，因为Flink SQL客户端如何决定使用批处理模式和流模式那么，我想知道Flink SQL Client如何区分批处理模式和流模式？
浏览 29提问于2019-12-23得票数 0
回答已采纳
1回答
Apache Flink web客户端
emr、apache-flink
如果使用AWS EMR运行，是否有方法启动Flink web客户端以允许提交作业？我已经下载了FLink 1.1.2，在旧的文档中，我看到了对.
浏览 4提问于2016-09-12得票数 1
回答已采纳
1回答
如何获取作业提交时间并在Flink应用程序中使用？
apache-flink、flink-streaming、flink-cep、flink-sql、flinkml
我目前正在开发一个流处理应用程序，其中一个功能是获取在提交作业的时区时间内发生的事件，提交作业的时间+T。谢谢。
浏览 14提问于2020-05-24得票数 0
2回答
Amazon EMR Flink上的Scala版本不匹配
apache-flink、amazon-emr
正在尝试在Amazon EMR Flink(5.21.0)上运行Flink(v1.7.0)作业。我得到了异常 java.lang.NoSuchMethodError: scala.Product.我发现flink库是SCALA 2.11，而我的工作是使用2.12构建的。Flink 1.7.0支持SCALA 2.12。 问题是，如何让Amazon EMR支持SCALA 2.12而不是2.11？
浏览 12提问于2019-03-01得票数 0
1回答
如何在Oozie中的非HA集群上提交工作流作业
alibaba-cloud
我要在非HA群集上提交工作流作业。有没有人能帮我做到这一点。
我很感谢大家对我的帮助。
浏览 2提问于2018-11-01得票数 0
3回答
Boto:如何在完成/失败后保持EMR作业流运行？
python、boto、amazon-emr
如何使用boto将步骤添加到正在等待的Amazon EMR作业流，而作业流在完成后不会终止？
我已经在Amazon的Elastic Map Reduce上创建了一个交互式作业流，并加载了一些表。当我使用Boto的emr_conn.add_jobflow_steps(...)向作业流传递新步骤时，作业流在完成或失败后终止。我知道可以使用带有keep_alive参数的run_jobflow使用boto启
浏览 6提问于2011-11-01得票数 1
回答已采纳
1回答
AWS Elastic MapReduce和AWS Kinesis Data Analytics有何区别？
amazon-web-services、apache-flink、amazon-emr、amazon-kinesis-firehose
我正在使用此工具执行Flink作业。我认为两者都可以通过正确的配置来完成完全相同的任务。Kinesis Data Analytics是否做了EMR不能做的事情，反之亦然？Amazon Kinesis Data Analytics是分析流数据、获得可操作的洞察并实时响应业务和客户需求的最简单方法。您还可以在EMR中运行其他流行的分布式框架，如Apache Spark、HBase、Presto和Flink。
浏览 29提问于2019-05-17得票数 7
1回答
如何在AWS EMR中使用dolphinscheduler
apache-flink、amazon-emr
我们想要运行一个计划的flink作业。 我们有一个AWS EMR集群，并在其上运行Flink。 如何让DS管理EMR群集上的作业？
浏览 62提问于2021-01-15得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频活动推荐
腾讯云开发者
