文档建议反馈控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

尝试使用上传的jar启动新作业时出现Flink REST API POST错误

Flink是一个流式处理框架，它提供了REST API来管理和监控作业。当尝试使用上传的jar启动新作业时出现Flink REST API POST错误，可能有以下几个原因和解决方法：

  1. 作业jar包错误：请确保上传的jar包是正确的，并且包含了需要执行的作业代码和依赖项。可以通过本地运行jar包来验证其正确性。
  2. Flink REST API配置错误：请检查Flink集群的配置文件，确保REST API相关的配置项正确设置。具体的配置项包括rest.port（REST API的端口号，默认为8081）和rest.address（REST API的绑定地址，默认为0.0.0.0）。
  3. 作业提交参数错误：在使用REST API提交作业时，需要提供一些必要的参数，如作业名称、作业入口类、作业参数等。请确保这些参数的正确性，并按照Flink的API文档进行正确的POST请求。
  4. 作业依赖项缺失：如果作业代码中引用了外部的依赖项，如第三方库或其他模块，需要确保这些依赖项在Flink集群中可用。可以通过将这些依赖项打包到作业jar包中或者在集群中配置相应的依赖项路径来解决。
  5. Flink版本兼容性问题：如果使用的Flink版本与上传的作业jar包不兼容，可能会导致POST错误。请确保Flink版本与作业jar包版本匹配，并且查看Flink的官方文档以获取更多关于版本兼容性的信息。

总结起来，当尝试使用上传的jar启动新作业时出现Flink REST API POST错误，需要检查作业jar包的正确性、Flink REST API的配置、作业提交参数的准确性、作业依赖项的可用性以及Flink版本的兼容性。根据具体情况进行排查和解决问题。

腾讯云相关产品和产品介绍链接地址：

  • 腾讯云Flink产品页：https://cloud.tencent.com/product/flink
  • 腾讯云云服务器CVM产品页：https://cloud.tencent.com/product/cvm
  • 腾讯云对象存储COS产品页：https://cloud.tencent.com/product/cos
  • 腾讯云数据库TencentDB产品页：https://cloud.tencent.com/product/tencentdb
  • 腾讯云人工智能AI产品页：https://cloud.tencent.com/product/ai
相关搜索:feign.FeignException:使用feign客户端的REST API尝试连接时出现状态401错误Gorilla mux REST api在使用带有双斜杠的POST时出现405错误，但在使用GET时仍然有效‘内容与报告的内容不同’-尝试使用RestAssured上传JPEG文件(图像文件)时出现此错误从post man执行列表REST API时出现错误415不支持的媒体类型使用express登录rest api时出现postman中的HTML内容错误使用Rest模板上传多部分表单数据linux文件: POST请求非法无引号字符时出现I/O错误((CTRL-CHAR，代码13))在Flask中尝试使用以*args为参数的函数构建api时出现内部服务器错误尝试使用-secret选项通过命令行通过JNLP启动Jenkins slave时，出现401未经授权的错误尝试使用AJAX在Laraver中上传单个文件时出现数组到字符串的转换错误尝试使用Blue Prism API HTTP请求令牌时出现错误‘给定的键不在字典中’
相关搜索:
页面内容是否对你有帮助？
有帮助
没帮助

相关·内容

0911-7.1.7-如何在CDP集群使用Flink SQL Client并与Hive集成

，找到了依赖的Jar包后，可以将上述依赖的jar包拷贝至Flink的安装目录/opt/cloudera/parcels/FLINK/lib/flink/lib/（需要拷贝至集群所有节点），可以在客户端命令行启动时通过...中引入了Curator依赖包，该依赖包在处理Zookeeper的消息时，收到的信息中携带了”{}”，导致数据解析出现异常，目前该异常并不影响服务的使用（https://issues.apache.org.../apache/curator/pull/382 尝试将5.2版本修复后的类，打包到flink-shaded-zookeeper-3.5.5.7.1.7.0-551.jar包的org/apache/flink.../shaded/curator4/org/apache/curator/framework/imps目录下，但在启动跑作业时失败，提示异常日志如下： Caused by: java.lang.NoClassDefFoundError...通过日志可以看到报错的jobid（ef7f994a08f57141fafd18481d13ab85）实际上是在对应的JobMaster 停止以后收到的请求，因此才会出现该错误。

37610

【Flink】第二十五篇：源码角度分析作业提交逻辑

然后在PipelineExecutor中通过Dsipatcher提供的Rest接口提交JobGraph，Dsipatcher为每个作业启动一个JobMaster，进入作业执行阶段。...启动集群 1) 使用yarn-session.sh提交会话模式的作业 2) 如果没有Flink Session集群，启动新的Flink Session集群 首先将应用配置和相关文件上传至HDFS；Yarn...，初始化Dispatcher、ResourceManager，启动相关的RPC服务，等待Client通过Rest接口提交作业。...申请Containner，启动TaskManager 3) 在Yarn分配的Containner中启动新的TaskManager，并从HDFS上加载Jar所需资源 4) TaskManager启动之后...由flink shell 脚本 到 Flink作业 jar 的过程； 2. Flink 绘制 DAG的过程，这里我们只重点看StreamGraph的绘制逻辑，其他的类似； 下面开始介绍， 1.

81930

Flink Yarn Cluster & HA

启动新的Flink YARN会话时，客户端首先检查所请求的资源（容器和内存）是否可用。之后，它将包含Flink和配置的jar上传到HDFS（步骤1）。...一旦它们成功启动，AM就知道JobManager（它自己的主机）的地址。它正在为TaskManagers生成一个新的Flink配置文件（以便它们可以连接到JobManager）。...该文件也上传到HDFS。此外，AM容器还提供Flink的Web界面。YARN代码分配的所有端口都是临时端口。这允许用户并行执行多个Flink YARN会话。...之后，AM开始为Flink的TaskManagers分配容器，这将从HDFS下载jar文件和修改后的配置。完成这些步骤后，即可建立Flink并准备接受作业。...在这个模式下，同样可以使用-m yarn-cluster提交一个"运行后即焚"的detached yarn（-yd）作业到yarn cluster。

81620

Flink 实践教程：进阶7-基础运维

需要注意的是，窗口函数并不能处理更新（update）和删除（delete）数据，当有这类数据进入窗口函数时，报错如下： 语法检查失败：org.apache.flink.table.api.TableException...在实际使用中经常碰见用户打得 JAR 包过大，超过 150M 而不允许上传的情况。...实际上 Oceanus 平台已经内置了 Flink 相关的 JAR 包，用户在打包时不用将这些 JAR 打进去，只需要在 POM 里面 将scope设置为provided 即可，例如： <!...总结 本文首先对出现的最基础的、用户可以自己解决的常见报错做了一些总结，这些错误常常出现在作业启动之前，所以在作业正式启动之前，用户需要自己检查好这些类型的错误，保证作业能够顺利的启动。...需尝试增加作业的算子并行度（CU）数和优化内存占用，避免内存泄露 JVM 退出等致命错误 进程退出码通常出现在以下关键字后，可以辅助定位 JVM 或 Akka 等发生了致命错误被强制关闭等的错误：exit

2.5K31

Flink 实践教程-进阶（7）：基础运维

需要注意的是，窗口函数并不能处理更新（update）和删除（delete）数据，当有这类数据进入窗口函数时，报错如下： 语法检查失败：org.apache.flink.table.api.TableException...在实际使用中经常碰见用户打得 JAR 包过大，超过 150M 而不允许上传的情况。...实际上 Oceanus 平台已经内置了 Flink 相关的 JAR 包，用户在打包时不用将这些 JAR 打进去，只需要在 POM 里面 将scope设置为provided 即可，例如： <...总结 本文首先对出现的最基础的、用户可以自己解决的常见报错做了一些总结，这些错误常常出现在作业启动之前，所以在作业正式启动之前，用户需要自己检查好这些类型的错误，保证作业能够顺利的启动。...需尝试增加作业的算子并行度（CU）数和优化内存占用，避免内存泄露 JVM 退出等致命错误 进程退出码通常出现在以下关键字后，可以辅助定位 JVM 或 Akka 等发生了致命错误被强制关闭等的错误：exit

2.2K10

从5分钟到60秒，袋鼠云数栈在热重启技术上的提效探索之路

经过分析，耗时主要是由于以下两部分原因造成： • Client 需要在 Yarn 上启动一个 Flink 集群，这一部分是客户端耗时最多的部分，因为这一部分包括上传 jar，上传文件到Hdfs 上，申请资源启动...：一部分是客户端上传文件 jar 等操作后，直接上传任务到 Yarn 上进行 Flink 任务的启动，第二部分是Flink集群的启动，然后对客户端上传到远程文件的 JobGraph 进行处理。...图片 WebMonitor 改造 WebMonitor 组件是 Flink 的 Web 端点，可以通过 Rest Api 进行 Flink 集群的状态、任务、指标等信息的查询，同时支持任务的提交、取消、...提供的 API 功能不同，所以 handlers 也是不同的 • 将 handlers 注册到 router，完成 URL 以及请求方式(GET,POST,DELETE,PUT)和 Handler 的映射关系...图片 这样 Client 端只需要重新生成 JobGraph 然后提交即可，避免了重新上传 jar 到 hdfs，以及避免浪费重新向 yarn 集群申请资源启动 AppMaster 的时间。

21700

Flink的类加载器

动态用户代码：这些是动态提交的作业的 JAR 文件中包含的所有类（通过 REST、CLI、Web UI）。 它们按作业动态加载（和卸载）。...以下是有关不同部署模式的更多详细信息： Standalone Session 当作为独立会话启动 Flink 集群时，JobManagers 和 TaskManagers 使用 Java 类路径中的 Flink...提交作业/应用程序，其行为类似于独立会话：Flink 的代码位于 Java 类路径中，插件组件和作业代码在启动时动态加载。...这意味着在这种情况下，作业不涉及动态类加载。 当启动一个 YARN 会话时，JobManagers 和 TaskManagers 是用 classpath 中的 Flink 框架类启动的。...反向类加载的好处是插件和作业可以使用与 Flink 核心本身不同的库版本，这在不同版本的库不兼容时非常有用。

2.2K20

大数据云原生系列| 微信 Flink on Kubernetes 实战总结

自动下载用户上传资源 作业与 Flink 内核动态分离，提高灵活性 通过上述的声明式 API 方式提交部署，我们可以看到用户 jar 包需要事先打到 image 里，作为平台提供方，当然不可能让每个用户自己去打...Flink Operator 提供了 initContainer 选项，借助它我们可以实现自动下载用户上传资源，但是为了简单，我们直接修改 docker entrypoint 启动脚本，先下载用户上传的资源...，再启动 Flink 相关进程，用户上传的资源通过环境变量声明。...对于用户主类所在的 jar（即环境变量FLINK_USER_JAR），只需要在 Job Pod 的 Container 中下载，如果同样下载到当前目录，那么它也会被附加到classpath中，在提交的时候可能会出现如下类加载链接错误...，这是因为 Java 启动的时候加载了一遍，在执行用户main函数的时候 Flink 又会去加载一遍，所以我们将主 jar 包下载到一个专门固定目录，例如/opt/workspace/main/，那么提交时通过

1.9K21

Flink运行方式及对比

TaskManager 在第二步启动，任务运行完之后销毁 同上 同上 客户端进程 在客户端节点 在客户端节点 在集群中某个节点 适用范围 所有任务都共用一套集群，适合小任务，适合频繁提交场景 使用大任务...Flink on Yarn-Session 这种方式需要先启动集群，然后在提交作业，接着会向yarn申请一块空间后，资源永远保持不变。...Api 官方文档 https://nightlies.apache.org/flink/flink-docs-release-1.12/zh/ops/rest_api.html 这所有的接口我们都可以通过网页上的..._0049 获取Flink Rest接口地址 我们先从Yarn Rest Api中获取Flink Rest Api的地址 进入Yarn管理界面查看applicationid http://hadoop02...REST API： API 说明 参数 /jobs/:jobid/accumulators 查看具体某个作业所有任务的累加器 jobid /jobs/:jobid/checkpoints 查看具体某个作业的

2.2K51

听说你熟悉Flink-On-Yarn的部署模式？

将log4j、logback、flink-conf.yaml、jar包上传至HDFS 构造AppMaster的Container（确定Container进程的入口类YarnSessionClusterEntrypoint...启动任务 当启动集群后，即可使用./flink run -c mainClass /path/to/user/jar向集群提交任务。.../bin/flink run -m yarn-cluster -d -c mainClass /path/to/user/jar命令使用分离模式启动一个集群，即单任务单集群； 3.2....经过上述步骤，客户端提交任务过程就完成了，主要涉及到文件（JobGraph和jar包）的上传。...确认获取主并开始运行任务 Flink提供在Yarn上两种运行模式：Session-Cluster和Per-Job-Cluster，其中Session-Cluster的资源在启动集群时就定义完成，后续所有作业的提交都共享该资源

2.8K10

CentOS7.5搭建Flink1.6.1分布式集群详解

如果要验证一个简单的应用，Local 模式是最方便的。实际应用中大多使用 Standalone 或者 Yarn Cluster，而local模式只是将安装包解压启动（....启动新的Flink YARN会话时，客户端首先检查所请求的资源（容器和内存）是否可用。之后，它将包含Flink和配置的jar上传到HDFS（步骤1）。...一旦它们成功启动，AM就知道JobManager（它自己的主机）的地址。它正在为TaskManagers生成一个新的Flink配置文件（以便它们可以连接到JobManager）。...之后，AM开始为Flink的TaskManagers分配容器，这将从HDFS下载jar文件和修改后的配置。完成这些步骤后，即可建立Flink并准备接受作业。...在这个模式下，同样可以使用-m yarn-cluster提交一个"运行后即焚"的detached yarn（-yd）作业到yarn cluster。

84610

2022年最新版 | Flink经典线上问题小盘点

当待启动的 Container 数量较多且分布式文件存储如 HDFS 性能较慢（启动前需上传 TaskManager配置）时 Container启动请求容易堆积在内部，FLINK-13184 对这个问题进行了优化...，一是在启动前增加了有效性检查，避免了无意义的配置上传流程，二是进行了异步多线程优化，加快启动速度。...部署和资源问题 (0) JDK版本过低 这不是个显式错误，但是JDK版本过低很有可能会导致Flink作业出现各种莫名其妙的问题，因此在生产环境中建议采用JDK 8的较高update（我们使用的是181）...检查一下当前YARN集群的状态、正在运行的YARN App以及Flink作业所处的队列，释放一些资源或者加入新的资源。...如果发生故障，作业将重新启动并从checkpoint完成的binlog位置恢复，因此它保证了仅一次的语义。 解决办法：创建一个新的MySQL用户并授予其必要的权限。

4.3K30

Too old resource version 引起 Flink JobManager 崩溃的问题定位

问题背景 近期接到客户反馈，某地域的作业不定期的出现 JobManager 崩溃重启的问题。...但是如果没有配置 HA（High Availability，高可用）时，Flink 就无法正常恢复作业，造成运行中关键状态的丢失，这对线上业务是无法接受的。...watch（监听）操作时，有概率会出现410 Gone的 HTTP 状态码。...毕竟，这种可恢复的异常，可能会在一个长期运行作业的运行周期内多次出现，平台方需要考虑到细粒度的容错，令客户的作业能够长期平稳运行。...后来我们偶然间发现，重启 API Server 服务可以复现该问题，因为新启动的 API Server 会从 etcd 中获取当前最新 resourceVersion，如果客户端后续用保存的旧值请求的话

2.8K70

Elastic-Job动态添加任务

elastic-job-lite为jar包，由开发或运维人员负责启动。启动时自动向注册中心注册作业信息并进行分布式协调，因此并不需要手工在注册中心填写作业信息。...elastic-job-cloud为mesos框架，由mesos负责作业启动和分发。 但需要将作业打包上传，并调用elastic-job-cloud提供的REST API写入注册中心。...，默认的使用方法是每个节点在启动时去初始化任务调度器，而我们的B节点已经启动过了，任务是新添加的。...还有一种对使用者更友好的办法是对Zookeeper中的节点进行监听，当有新的节点创建时，就自动获取这个节点的配置信息，在本地进行任务初始化，通过这样的方式就可以不用去转发请求到其他节点了，只要在任何节点有添加操作...REST API来动态的注册任务，API列表如下： /job 添加任务是POST请求，数据格式为JSON体提交，格式如下： { "jobName":"DynamicJob13", "cron":"0 33

2K70

快速入门Flink (2) —— Flink 集群搭建

作为一名互联网小白，写博客一方面是为了记录自己的学习历程，一方面是希望能够帮助到很多和自己一样处于起步阶段的萌新。由于水平有限，博客中难免会有一些错误，有纰漏之处恳请各位大佬不吝赐教！...1、当启动一个 Flink Yarn 会话时，客户端首先会检查本次请求的资源是否足够。资源足够将会上传包含 HDFS 配置信息和 Flink 的 jar 包到 HDFS。...客户端通过 yarn-session 提交作业 yarn-session 会一直启动，不停地接收客户端提交的作业 ，有大量的小作业，适合使用这种方式。 ?...我们还可以在 YARN 上启 动一个 Flink 作业，这里我们还是使用 ./bin/flink，但是不需要事先启动 YARN session。...下一篇博客，我们将学习Flink 运行架构，敬请期待|ू･ω･` ) 如果以上过程中出现了任何的纰漏错误，烦请大佬们指正? 受益的朋友或对大数据技术感兴趣的伙伴记得点赞关注支持一波?

2.3K20

Flink 实践教程：入门9-Jar 作业开发

Flink Jar 作业既支持使用 DataStream API 编程也支持使用 Table API/SQL 编程， Table API 和 SQL 也可以很容易地集成并嵌入到 DataStream 程序中...流计算 Oceanus 支持 Flink Jar 作业和 Flink SQL 作业，本文将向您详细介绍如何使用 Flink DataStream API 进行 Jar 作业开发，并在流计算 Oceanus...配置 pom.xml 文件时需要设置主类，否则在打包完上传至 Oceanus/Flink 集群时无法找到主类。 pom.xml 文件内容如下: <?...流计算 Oceanus 作业 1. 上传依赖 在 Oceanus 控制台，点击左侧【依赖管理】，点击左上角【新建】新建依赖，上传本地 Jar 包。 2....创建作业 在 Oceanus 控制台，点击左侧【作业管理】，点击左上角【新建】新建作业，作业类型选择 Jar 作业，点击【开发调试】进入作业编辑页面。 【主程序包】选择刚刚上传的依赖，并选择最新版本。

1.4K90

收藏|Flink比Spark好在哪？

使用bin/flink run命令发布任务时，本质上是使用Flink自带的调度，与普通的在Flink集群上发布任务并没有不同。...发布m个应用，则有m个Flink界面，对比方式一，同样发布m个应用，会多出m-1个JobManager的。 发布任务时，实际上是使用了Yarn的调用。...一个Flink环境在YARN上的启动流程: FlinkYarnSessionCli 启动的过程中首先会检查Yarn上有没有足够的资源去启动所需要的container，如果有，则上传一些flink的jar...container，被分配到启动AM的NM会首先去HDFS上下载第一步上传的jar包和配置文件到本地，接着启动AM；在这个过程中会启动JobManager，因为JobManager和AM在同一进程里面,...3 提交一个Flink作业 启动flink服务 ./bin/yarn-session.sh -n 4 -jm 2048 -tm 2048 ? 在yarn监控界面上可以看到该作业的执行状态 ?

1.1K40
点击加载更多

扫码

添加站长 进交流群

领取专属 10元无门槛券

手把手带您无忧上云

扫码加入开发者社群

相关资讯

热门标签

更多标签

活动推荐

    运营活动

    活动名称
    广告关闭

    腾讯云开发者

    扫码关注腾讯云开发者

    扫码关注腾讯云开发者

    领取腾讯云代金券

    热门产品

    热门推荐

    更多推荐

    Copyright © 2013 - 2024 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有

    深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 深公网安备号 44030502008569

    腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号 | 京公网安备号11010802020287

    领券