Flink v6 rest api :如何获取所有已完成/已完成的作业
Flink v6是一个流式处理框架，它提供了REST API来管理和监控作业。要获取所有已完成/已完成的作业，可以通过以下步骤：
- 首先，确保你已经安装了Flink v6，并且已经启动了Flink集群。
- 使用HTTP GET请求访问Flink的REST API端点，该端点是
/jobs。例如，可以使用以下命令来获取所有作业的信息：
curl -X GET http://<Flink_Master_IP>:8081/jobs其中，<Flink_Master_IP>是Flink集群的主节点IP地址。
- 上述命令将返回一个JSON格式的响应，其中包含了所有作业的信息。你可以解析该响应来获取已完成/已完成的作业的详细信息。
- 对于每个作业，你可以查看其状态（例如RUNNING、FINISHED、FAILED等），以确定其是否已完成。你还可以获取作业的ID、名称、开始时间、结束时间等信息。
- 如果你想获取特定状态的作业，可以在请求中添加查询参数。例如，要获取所有已完成的作业，可以使用以下命令：
curl -X GET http://<Flink_Master_IP>:8081/jobs?state=finished总结：
Flink v6的REST API提供了一种方便的方式来获取所有已完成/已完成的作业。通过发送HTTP GET请求到/jobs端点，并解析返回的JSON响应，你可以获取作业的详细信息。如果你只想获取特定状态的作业，可以在请求中添加查询参数。对于Flink v6的更多信息和其他功能，你可以参考腾讯云的Flink产品介绍页面：腾讯云Flink产品介绍。
相关·内容
1回答
Flink历史服务器没有显示正在运行的应用程序
apache-flink
我正在尝试配置flink历史服务器。我已经跟踪了flink文档。我能够打开历史服务器，但只能看到已完成的作业，而不能看到正在运行的作业。我是遗漏了什么，还是仅仅在历史服务器中显示了已完成的作业。帮帮忙吧。
当前集群中的作业:
本地主机:8081/joboverview
{
"running": [
{
"jid": "e4e6edb76b887054d7aca460b7136937",
"name": "Filter",
浏览 2提问于2017-09-21得票数 1
回答已采纳
2回答
在码头设置中添加Flink Job并通过Flink Rest运行作业
apache-flink、flink-batch
我们在集群会话模式下运行Flink，并在Dockerfile中自动添加Jars：
ADD pipeline-fat.jar /opt/flink/usrlib/pipeline-fat.jar
这样我们就可以通过Flink Rest 运行这个Jar，而不需要预先将上传到：
POST http://localhost:8081/:jarid/run
但是现在显示了“静态”Jar，以获得:jarid
GET http://localhost:8081/jars
，所以我的问题是：
是否可以使用userlib运行Flink Rest API
或者你只能引用这样的罐子
flink run -d -c
浏览 16提问于2022-04-12得票数 0
1回答
Flink Rest : /jars/upload返回404
apache-flink、amazon-emr、flink-batch
下面是我在Flink中上传Jar的代码片段。我得到404回复这个帖子的要求。以下是请求的输出。我还尝试用/v1/jars/upload更新url，但响应相同。所有与jars相关的API都给了我相同的响应。我正在AWS中运行这段代码，它存在于EMR存在的同一个vpc中，运行我的Flink作业。像/config这样的API，在这个lambda中工作的/jobs，只有像upload jar这样的APIs，提交不起作用的作业，并为它们获取404。
<响应404> {“错误”：“未找到:/jar/上载”}
通过直接登录到作业管理器节点并运行curl命令，也尝试了相同的方法，但是得到了相同
浏览 5提问于2022-05-08得票数 0
2回答
即使使用oidc服务帐户身份验证，HTTP云调度程序作业也无法触发云运行。
google-cloud-platform、google-cloud-run、google-cloud-scheduler
HTTP云调度器作业无法触发云运行端点。创建了一个服务帐户，并提供了云调度程序和云运行管理角色。在云运行权限选项卡上，帐户被授予云运行调用器权限。云运行端点可以在控制台上触发并成功返回。如果不需要身份验证，则将创建云调度器作业，并且当云运行发送请求时，云运行将返回403 HTTP响应。使用的命令是
gcloud beta scheduler jobs create http *job_name* --schedule="* * * * *" --uri="https://*cloud-run-app-name-*cno4ptsl2q-ew.a.run.app"
浏览 2提问于2020-12-17得票数 1
2回答
无法通过curl请求使用post请求在Flink中提交作业(请求不匹配...)
apache-flink、flink-streaming、flink-cep
我试图向Kubernetes集群上运行的Flink作业管理器发送post请求。在为不需要任何命令行参数的类发送/jar/run的post请求时，它工作得很好。但是，当尝试在同一个jar中提交一个不同的类(需要命令行参数)时，会出现以下错误。-：{"errors":["Request did not match expected format JarRunRequestBody."]}' 然而，在传递命令行参数和直接提交作业时，就像下面的works -： ./flink run -m localhost:30287 -c com.class.name ~
浏览 134提问于2020-07-06得票数 0
1回答
如何查看google云调度器状态？
google-app-engine、google-cloud-platform、google-cloud-scheduler
我有两个作业，我只想在第一个作业完成时执行第二个作业。两者都是在云调度器上调度的。 我正在尝试使用get API检查第一个作业的状态，但status字段下没有数据。请注意，在我的第一个作业运行时，我曾尝试获取此数据。 {
"name": "projects/<project name>/locations/us-central1/jobs/<job name>",
"description": "Sample",
"appEngineHttpTarget": {
&
浏览 14提问于2020-07-17得票数 0
1回答
Google Dataflow API按作业名称筛选
google-cloud-dataflow
有没有办法使用REST API按作业名称过滤数据流作业？我正在寻找一种方法来获得按作业名称过滤的作业详细信息列表。目前，我可以通过云数据流控制台来实现，但不能通过数据流rest api来实现。
GET /v1b3/projects/{projectId}/jobs
浏览 2提问于2020-11-07得票数 0
1回答
Rails 3对curl -d的系统调用挂起服务器，显示传输进度为0%
ruby-on-rails、ruby、ruby-on-rails-3、curl
我正在尝试在中安排作业。此示例显示了安排作业的正确方法：
# === Example
# $ curl -d 'input=/tmp/foo.flv&output=/tmp/bar.mp4&preset=h264' http://localhost:3000/api/jobs
我需要在控制器的create中执行此操作。如果我这样做，它会工作得很好：
scheduleCommand = "curl -d 'input=#{rawFilePath}&output=#{completeFilePath}&preset=h26
浏览 0提问于2014-03-21得票数 0
1回答
使用REST监视API将Flink作业管理器发送到保存点目录的完全限定路径
apache-flink
我有一个远程运行的Flink作业管理器，并且正在使用来安排作业。
Flink启用保存点，以便我可以中断正在运行的作业，并从保存的状态恢复它。保存点数据的持久化位置应该在作业管理器的外部(例如，这样我就可以重新配置和重新启动作业管理器并恢复作业)，比如HDFS卷或S3存储桶。这个持久性位置可以使用state.savepoints.dir配置键在作业管理器上进行全局配置，但也应该能够通过中断命令传入：
# When job manager is running locally
$ bin/flink cancel -s s3:///savepoint-bucket/my-awesome-job &
浏览 23提问于2017-08-23得票数 1
回答已采纳
1回答
数据库--职务集群中的标记
apache-spark、databricks、aws-databricks
对于如何通过api在databricks中标记作业集群，我有疑问。
我知道我已经可以标记集群和作业，但是我想标记集群作业的集群，这有可能吗？
我尝试使用“作业/更新”端点在作业集群中插入标记，甚至插入这些字段--它仍然得到相同的错误：
请求示例：
curl --location --request POST 'https://databricks.com/api/2.0/jobs/update' \
--header 'Authorization: Bearer token' \
--header 'Content-Type: application/j
浏览 3提问于2022-05-10得票数 1
回答已采纳
4回答
Magento 2 API始终返回未授权访问%资源的消费者
php、rest、magento、magento2
我正在尝试使用Magento 2 rest API，但即使只是从命令行卷曲，我得到的唯一响应也是Consumer is not authorized to access %resources
我设法弄到了一个代币
curl -X POST "http://magento.dev.blackorange.nl/index.php/rest/V1/integration/admin/token" \
-H "Content-Type:application/json" \
-d '{"username":"adminuser"
浏览 0提问于2016-06-17得票数 5
1回答
如何为微型服务栈建立一个简单而可靠的API预付费信用系统？
mongodb、spring-boot、api、redis、microservices
我们已经构建了一个基于微服务的API产品，它有许多不同的REST端点。对于不同端点的使用，api客户应该收取不同的费用。我们主要在kubernetes集群中使用spring和一些netflix组件进行服务。
例如:通过作业端点n创建带有/jobs任务的作业需要花费n * job_creation_credit_cost学分。因此，不能仅仅在所有微服务前面跟踪API网关中的http调用。
我们希望在每个微服务中都有某种类型的acquire，基于用户id或client_id (我们使用OAuth2与OIDC和JWT令牌)，返回用户是否有足够的学分来执行操作，如果有，则获取此操作所需的学分。
由于我
浏览 4提问于2020-01-22得票数 2
1回答
如何对Jenkins上的REST端点进行轮询？
jenkins、curl、jenkins-pipeline、polling
在我创建的Jenkins管道上，我只发出一次POST curl请求。但是，由于这个作业先进入队列，所以我需要等待作业完成。这是我命令的一个例子
curl -X POST -H "Content-Type: application/json" \
-d '{"source_path": "source/path/example", "destination_path": "destination/path/example"}' \
http://example.com/v1/postJob
这将返回一
浏览 21提问于2022-01-25得票数 0
回答已采纳
2回答
REST是我的应用程序的一个很好的解决方案吗？-(一个有许多操作的系统)
rest、restful-architecture
我正在开始一个新的项目，我试图弄清楚我是否应该遵循RESTful方法。通过阅读互联网上的不同来源，我越来越困惑于一个真正的RESTful方法应该如何。有些人说REST请求(即URI和HTTP请求的其余内容)不应该使用HTTP谓词以外的其他内容来描述操作。另一些人说，由于HTTP谓词是有限的，HTTP请求主体可以提供关于需要对URI描述的数据应用哪些操作的附加信息。这两种方法中哪一种是正确的？，我将给您一个简单的描述，说明我正在尝试构建的软件，以及我认为它应该如何用REST实现:用户必须能够在服务器上上传/删除/编辑数据。然后，他必须能够以作业的形式在服务器上执行10种不同类型的分析(analy
浏览 7提问于2015-03-03得票数 2
回答已采纳
1回答
RestSharp -异步请求应答模式
c#、rest、asynchronous、async-await、microservices
以下情况如下：
通过Post请求将新作业发送到API。此API返回一个JobID和HTTP 202。
然后使用此JobID请求状态端点。如果端点在响应体中设置了“已完成”属性，则可以继续执行步骤3。
结果通过使用JobID的结果端点进行查询，并且可以进行处理。
我的问题是我如何才能优雅而干净地解决这个问题。是否已经有现成的库来实现这个功能了？我无法为RestSharp或其他HttpClient找到这样的功能。当前的解决方案如下：
async Task<string> PostNewJob()
{
var restClient = new Re
浏览 0提问于2020-10-27得票数 5
回答已采纳
5回答
Kubernetes REST API
api、kubernetes
kubernetes可以通过REST API访问吗？我看了看的页面，它看起来非常神秘/不完整。他们谈到了新版本，但没有透露API的用法或任何地方的文档。我只想知道除了使用kubectl命令之外，是否还有其他方法可以访问集群信息。
示例用法：
我现在要做的是：
kubectl get pod --context='my-prod-cluster'
我想做的是：
curl GET /some/parameters/to/get/info
浏览 0提问于2015-10-09得票数 13
1回答
等待Google函数中的Datastore回调(Node-JS)
node.js、google-cloud-datastore、google-cloud-functions、google-cloud-dataflow
我正在开发一个Google函数，它调用Dataflow作业并将数据流作业的ID存储在Datastore中。这部分工作很完美。
我的问题在于另一个读取数据存储的云函数(通过HTTP触发)。看起来云函数是完全异步的，在数据存储函数发送一些数据之前就结束了。
我从原始的节点-js数据存储api 中拿出了数据存储示例。
我的守则：
exports.processJobs = (req, res) => {
jobList = "";
console.log(` INIT processJobs`);
const query = datastore.createQuery(
浏览 0提问于2018-06-25得票数 2
回答已采纳
1回答
迁移期间暂停/恢复Flink作业
elasticsearch、apache-flink、flink-streaming
我使用Apache Flink将来自给定的Kafka主题集的更新传播到Elasticsearch集群中。
我面临的问题是，有时Elasticsearch集群会进化，而我必须通过(1)修改映射，当我不得不将Flink作业指向新的别名/索引时，(2)复制到data...and时，就会有大量的更新到旧的索引。
所以我想知道什么是最好的方法来解决这个问题。我可以休息，但如果可能的话，我想避免这样做。我试图使Flink作业减速或暂停(Kafka)输入源，直到迁移完成，但我没有找到任何端点。
Flink作业在应用程序模式下运行。
如果有人能够解释一下如何做到这一点:通过API或其他类似工具暂停/恢复作
浏览 5提问于2022-06-21得票数 0
2回答
未经授权获取错误401 :头中缺少承载身份验证
api、rest、http、curl、postman
API文档--这是用于可用API端点的文档，这些端点是围绕REST体系结构构建的。所有API端点都将返回带有标准HTTP响应代码的JSON响应，并需要通过API密钥进行比勒身份验证。
碱url
检索用户
curl --request GET \
--url 'https://app.popify.site/api/user' \
--header 'Authorization: Bearer {api_key}' \
获取错误401:头中缺少承载身份验证，尽管我使用的是正确的api密钥。
浏览 1提问于2021-10-30得票数 0
1回答
如何通过rest“在纱线上运行一个Flink作业”？
apache-flink、flink-streaming
从Flink的官方文件中我们知道我们可以通过下面的命令“在纱线上运行一个Flink作业”，我的问题是我们是否可以通过Rest“在纱线上运行一个Flink作业”，并得到应用程序API？
./bin/flink run -m yarn-cluster -yn 2 ./examples/batch/WordCount.jar
浏览 1提问于2019-01-26得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
即时通信 IM
ICP备案
对象存储
实时音视频活动推荐
腾讯云开发者
