当我使用集群模式提交spark作业时，它会立即返回。并在群集上运行作业。 因此，如果我想在作业A成功完成时提交作业B，这似乎不能在集群部署模式下完成。因为作业A完成时没有任何回调或通知。
浏览 16提问于2018-12-18得票数 0
1回答
不幸的是，我不确定我是否正确地理解了部署选项。在Flink文档中，我找到了关于Docker组成和应用模式的部分。它说，我只能将一个作业部署到Flink：
您的作业jar，您通常会将其提交到会话
浏览 5提问于2022-01-08得票数 0
回答已采纳
1回答
如何处理依赖关系在(交互式) sparkR作业的情况下？但是我需要一些外部包，例如连接到数据库(Mongo，Cassandra)或读取csv文件。在本地模式下，我可以很容易地在启动时指定这些
浏览 4提问于2016-04-07得票数 0
回答已采纳
Flink官方文档为单机版和Yarn Flink集群提供了jobmanager高可用性解决方案。但是，使用Mesos Flink集群应该如何实现高可用性？我了解到Flink依赖于马拉松来带来失败的JobManager，但它也有一个问题:每次作业管理器重新启动时，作业都会被重新部署。这对于任务关键型作业是不可接受的。是否有解决此问题的方法？或者是否有计划在Mesos模式下使用Flink来支持完整的高可用性？
浏览 25提问于2019-03-13得票数 0
我正在使用MicrosoftHPC2008Microsft集群管理器，我需要在多个作业之间添加依赖关系，但是我发现R2系统中没有这个功能(但是我们可以在任务之间添加依赖关系)我搜索了一下，但我找到了一个试用解决方案
浏览 2提问于2014-02-12得票数 0
作业从Kafka主题中读取，对其进行一些(无状态)计算，并将其写回另一个Kafka主题。作业的检查点保存在S3中。Flink的命令行工具在单荚(副本)中部署作业，那么如何增加副本以并行地增加对数据的操作&作业的吞吐量？
浏览 21提问于2022-08-01得票数 0
2回答
我已经在一个由3个节点组成的集群上设置了spark，其中一个是我的namenode主节点(名为h1)，另两个是我的datanode工作人员(名为h2和h3)。当我命令在我的主人上运行一个火花作业时，似乎没有分配给工人，它只是在主人身上完成。我给出的运行星火作业的命令是
bin/spark-submit --class org.dataalgorithms.chap07.spark.FindAssociationRules /home/ubuntu
浏览 2提问于2018-04-18得票数 2
回答已采纳
2回答
我很大程度上依赖于消息的顺序，因此在kafka主题中只创建了一个分区。
我正在集群模式下部署此作业。我的问题是:由于我是在集群模式下执行此任务，我可以有多个executor拾取任务，在这种情况下，我是否会丢失从kafka收到的消息的顺序。如果没有，spark如何保证订单？
浏览 6提问于2017-09-19得票数 0
1回答
我有一个外部API jar，它在环境路径下面寻找依赖项。
我在这里做错了什么，是否有一种方法，我可以自定义user.dir的情况<
浏览 0提问于2018-06-29得票数 0
回答已采纳
在Apache中，Smart-submit.sh如何在不同的模式和不同的集群管理器中工作？具体地说：
Smart-submit.sh是否适用于不同的集群管理器(星火独立、纱线、M
浏览 1提问于2020-03-14得票数 3
我是Flink的新手，计划在EKS上部署Flink会话集群，其中包含1个作业管理器和5个任务管理器(每个任务管理器有4个槽)。不同的作业将通过UI提交给不同的应用程序。指向本地文件路径，该作业总共使用了8个槽，它分布在两个任务管理器上，运行良好，一天内没有任何问题。2)假设我的Ec2实例由于某种原因重新启动(使用了4个插槽的实例)，并且需要大约30分钟才能上线，在这种情况下，EKS将把新的Ec2实例作为TaskMan
浏览 1提问于2020-05-17得票数 1
回答已采纳
假设我想为每个拉请求部署一个使用CI-CD管道的微服务(就像您可以使用Gitlab审查应用程序那样)。但是，我的微服务需要一些依赖项(其他容器)才能实际工作。让我们举一个例子:如果我使用的是一个具有类似于下面的依赖关系图的微服务结构 / \G A HB CDE / \||因此，理想情况下，将有一个<
浏览 2提问于2022-07-19得票数 0
1回答
我试图在kubernetes上部署高可用的flink集群。在下面的例子中，工作节点被复制，但是我们只有一个主荚。
对于这两个示例，当活动作业管理器失败时，运行的作业会发生什么情况? kuber
浏览 3提问于2020-05-21得票数 1
2回答
我有一个maven项目，它有多个配置文件和许多依赖项，这些依赖项特定于每个配置文件。当前的解决方案是通过为每个概要文件创建一个中间依赖项pom来进行清理，该中间依赖项pom将依赖项分组在一起，如3.6.1：中所述。这些依赖项分组pom中的每一个都位于自己的svn项目中，并作为单独的jenkins作业进行构建和部署。
问题是这些pom，以及它们内部的依赖关系经常改变和发布，并且已经变得很难维护。理想情
浏览 0提问于2012-05-09得票数 0
回答已采纳
我正在使用Spark 3.0.1，并在Kubernetes上进行项目spark部署，其中Kubernetes代理spark作业的集群管理器，spark使用客户端模式提交作业。假设集群配置为： total Memory=204Gifree memory= 4GiSPARK.DYNAMICALLOCTION.MINEXECUTORS=4
SPARK.DYNAMICALLOCATION
浏览 7提问于2021-02-05得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
云直播
对象存储
实时音视频活动推荐
腾讯云开发者
