首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

flink作业提交org.apache.flink.runtime.messages.FlinkJobNotFoundException:找不到Flink作业

Flink作业提交是指将Flink任务提交到Flink集群中执行的过程。在提交过程中,可能会出现org.apache.flink.runtime.messages.FlinkJobNotFoundException:找不到Flink作业的错误。

这个错误通常是由于以下原因导致的:

  1. Flink作业不存在:可能是由于作业提交时指定的作业ID或作业名称错误,或者作业已经被删除或终止。

为了解决这个问题,可以采取以下步骤:

  1. 确保作业ID或作业名称正确:检查作业提交时指定的作业ID或作业名称是否正确,可以通过Flink的Web界面或命令行工具来确认。
  2. 检查作业状态:使用Flink的监控工具,如Flink的Web界面或命令行工具,检查作业的状态。如果作业已经被删除或终止,需要重新提交作业。
  3. 检查作业提交方式:确保作业是通过正确的方式提交的,可以使用Flink的命令行工具或API进行提交。
  4. 检查Flink集群状态:如果Flink集群处于异常状态,可能会导致作业提交失败。可以检查Flink集群的日志或使用Flink的监控工具来查看集群的状态。

在腾讯云的云计算平台中,推荐使用腾讯云的云原生产品来提交和管理Flink作业。以下是一些相关的腾讯云产品和介绍链接:

  1. 云原生应用引擎TKE:腾讯云原生应用引擎(Tencent Kubernetes Engine,TKE)是一种高度可扩展的容器化应用管理服务,可以用于部署和管理Flink集群。详情请参考:云原生应用引擎TKE
  2. 云原生数据库TDSQL:腾讯云原生数据库TDSQL是一种高性能、高可用的云原生数据库服务,可以用于存储Flink作业的数据。详情请参考:云原生数据库TDSQL
  3. 云原生存储CFS:腾讯云原生文件存储(Cloud File Storage,CFS)是一种高性能、可扩展的文件存储服务,可以用于存储Flink作业的文件和日志。详情请参考:云原生存储CFS

请注意,以上推荐的腾讯云产品仅供参考,具体的选择应根据实际需求和情况进行。

页面内容是否对你有帮助?
有帮助
没帮助

相关·内容

Flink部署及作业提交(On YARN)

Hadoop环境快速搭建 官方文档: YARN Setup 在上一篇 Flink部署及作业提交(On Flink Cluster) 文章中,我们介绍了如何编译部署Flink自身的资源分配和管理系统,并将作业提交到该系统上去运行...想要深入了解的话可以参考官方文档: Deployment Modes ---- Flink on YARN Session模式实操 首先将在 Flink部署及作业提交(On Flink Cluster)...-1.11.2/flink-dist/target/flink-1.11.2-bin/flink-1.11.2/ /usr/local/flink 配置环境变量,否则Flink会报找不到Hadoop相关...,所以直接运行如下命令就可以提交一个Flink的Word Count作业到 yarn 上,不需要像Session模式那样事先去创建资源: [root@hadoop01 /usr/local/flink]...此时在 yarn 上可以看到该作业已经执行完成: ? ---- Flink Scala Shell的简单使用 在之前的演示中可以看到,提交Flink作业都是以jar包形式存在的。

3.6K10

Flink作业反压处理

反压的影响 反压并不会直接影响作业的可用性,它表明作业处于亚健康的状态,有潜在的性能瓶颈并可能导致更大的数据处理延迟。...通 常来说,对于一些对延迟要求不太高或者数据量比较小的应用来说,反压的影响可能并不明显,然而对于规模比较大的 Flink 作业来说反压可能会导致严重的问题。...反压定位 Flink Web UI 自带的反压监控 Flink Web UI 的反压监控提供了 Subtask 级别的反压监控。...如果作业的节点数很多或者并行度很大,即 需要采集所有 Task 的栈信息,反压面板的压力也会很大甚至不可用 。...Flink Task Metrics 监控反压 Network和 task I/Ometrics 是轻量级反压监视器,用于正在持续运行的作业,其中一下几个 metrics 是最有用的反压指标。

1K41

Flink 作业生成②:StreamGraph -> JobGraph

将会在原来的基础上做相应的优化(主要是算子的 Chain 操作,Chain 在一起的算子将会在同一个 task 上运行,会极大减少 shuffle 的开销) JobGraph 用来由 JobClient 提交给...JobManager,是由顶点(JobVertex)、中间结果(IntermediateDataSet)和边(JobEdge)组成的 DAG 图 JobGraph 定义作业级别的配置,而每个顶点和中间结果定义具体操作和中间数据的设置...配置相应的 StreamPartitioner,如果这个没有指定 StreamPartitioner 的话,则会走下面的逻辑创建默认的 StreamPartitioner: //org.apache.flink.streaming.api.graph.StreamGraph...null) { partitioner = new RebalancePartitioner(); } 三、参考 https://matt33.com/2019/12/09/flink-job-graph...-3/ http://wuchong.me/blog/2016/05/10/flink-internals-how-to-build-jobgraph/

1.3K30

Storm作业迁移Flink指引

Storm作业称为Topology,由一系列的Spout组件,以及Bolt组件组成;如果要把运行在Storm的作业整体迁移到Flink上运行,则可以参考以下示意图和步骤: [Storm作业迁移Flink...修改代码:找到Storm作业的Topology提交的代码逻辑,进行如下修改:将代码中的StormSubmitter修改为FlinkSubmitter,LocalCluster修改为FlinkLocalCluster...($builder); 具体修改如下所示: [Storm作业提交代码修改] C....作业打包,并提交 A. 使用maven打包作业代码,执行命令mvn clean install –DskipTests,在作业工程的target目录找到打包后的jar; B....观察作业是否在Flink上正常运行,如下: [Storm 作业Flink上运行] 并比较原本的storm作业Flink作业运行结果是否正确;

1.8K70

Flink on Zeppelin 作业管理系统实践

在研发作业管理系统中,我们引入Apache Zeppelin组件作为Flink SQL作业提交客户端,Flink 批流作业可视化预览的核心组件。...在一年多时间的产线实践中,我们对作业提交的方式策略进行了几次演进,目前在跑作业规模Flink Batch 任务日均运行超5000次,流作业500+,均稳定运行。...2.2 作业提交架构优化收益 流作业支持了以作业组为单位的Flink On Yarn作业提交,每次提交作业独立创建解析器,提交完成后销毁解析器,有效降低了Zeppelin server的负载,通过作业调度管理器可以将同一个分组的作业提交到同一个...3.3 Flink SQL流作业资源调度 如前所述,通过自研作业管理系统,提交作业时,主要执行pyflink进行任务的后台提交,虽然通过临时创建解析器,提交后销毁的方式可以有效减轻Zeppelin server...对于同一个作业组的作业提交,如果第一次提交,会通过解析器创建flink cluster进行任务提交,而对于组内已有作业运行,即通过获取rpc 地址进行remote模式提交,类似如下图的入参。 4.

1.9K20

Flink 从Checkpoint中恢复作业

为了模拟作业失败并能恢复,我们判断当我们输入是 “ERROR” 时,抛出异常迫使作业失败: public void flatMap(String value, Collector out) {...首先启动一个 nc 服务: wy:opt wy$ nc -lk 9100 端口号为:9100 然后启动 RestoreCheckpointExample 作业: wy:~ wy$ flink...) 9 ERROR 作业重启 10 b (b,3) 11 ERROR 作业失败 从上面信息可以看出作业恢复后,计算结果也是基于作业失败前保存的状态上计算的。...作业状态变化 发送 ERROR 信号后,flatMap 算子抛出异常,由 RUNNING 状态切换为 FAILED,导致作业被取消: 2020-12-26 20:48:12,967 WARN org.apache.flink.runtime.taskmanager.Task...由于我们设置了最多重启三次,所以第四次发出 ERROR 信号后,作业彻底失败: 2020-12-26 21:05:29,294 WARN org.apache.flink.runtime.taskmanager.Task

5K20

Flink 内部原理之作业与调度

调度 Flink中的执行资源是通过任务槽定义。每个TaskManager都有一个或多个任务槽,每个任务槽可以运行一个并行任务的流水线(pipeline)。...请注意,Flink经常同时执行连续的任务:对于流式处理程序时刻发生,但是对于批处理程序来说却是经常发生。 下图证明了这一点。...Flink 作业首先处于 ctreated 状态,然后切换到 running 状态,一旦所有工作完成后切换到 finished 状态。...本地终端的意思是作业的执行已在相应的 JobManager 上终止,但 Flink 集群的另一个 JobManager 可从持久性 HA 存储中检索作业并重新启动作业。...备注: Flink版本:1.4 原文:https://ci.apache.org/projects/flink/flink-docs-release-1.4/internals/job_scheduling.html

1.8K10

Flink】第二十五篇:源码角度分析作业提交逻辑

本文继续讨论:在execute里,在最终将作业提交到集群后,在集群调度作业之前,Flink主要做了些什么。 同样,先将主要的结论列出来,以便在阅读源码时可以和笔者有一个基本一致的语境。...session:AbstractSessionClusterExecutor,通过http协议提交作业。...然后在PipelineExecutor中通过Dsipatcher提供的Rest接口提交JobGraph,Dsipatcher为每个作业启动一个JobMaster,进入作业执行阶段。...启动集群 1) 使用yarn-session.sh提交会话模式的作业 2) 如果没有Flink Session集群,启动新的Flink Session集群 首先将应用配置和相关文件上传至HDFS;Yarn...作业提交 1) Flink Client通过Rest向Dsipatcher提交作业 2) 为作业创建一个JobMaster,构建ExecutionGraph 3.

81430

Flink 实践教程-入门(9):Jar 作业开发

Flink Jar 作业既支持使用 DataStream API 编程也支持使用 Table API/SQL 编程, Table API 和 SQL 也可以很容易地集成并嵌入到 DataStream 程序中...流计算 Oceanus 支持 Flink Jar 作业Flink SQL 作业,本文将向您详细介绍如何使用 Flink DataStream API 进行 Jar 作业开发,并在流计算 Oceanus...代码编写 Flink DataStream 作业代码如下: package com.demos; import...创建作业 在流计算 Oceanus 控制台,点击左侧【作业管理】,点击左上角【新建】新建作业作业类型选择 Jar 作业,点击【开发调试】进入作业编辑页面。...运行作业 点击【发布草稿】即可运行,可通过【日志】面板 TaskManager 或 Flink UI 查看运行信息。 总结 DataStream 作业支持各类异构数据源与数据目的端。

1K40

使用Prometheus+Grafana监控Flink on YARN作业

实时作业要保证7 x 24运行,除了要在业务逻辑和编码上下功夫之外,好的监控系统也是必不可少的。...on yarn作业的每一个任务对应的集群不一样,地址不一样,那么对于Prometheus这样一个主动拉取的角色,就必须借助一个固定地址的数据中转站来进行数据的获取,pushgateway就具有类似的功能...首先我们根据flink版本,获取对应的flink-metrics包 wget https://repo1.maven.org/maven2/org/apache/flink/flink-metrics-prometheus..._2.11/1.13.1/flink-metrics-prometheus_2.11-1.13.1.jar mv flink-metrics-prometheus.../bin/grafana-server web & 4.启动flink 前提是准备好mysql/hadoop/hive metastore的环境 flink配置 metrics.reporter.promgateway.class

1.9K30
领券