当一个任务实例提交多个yarn申请时，总是失败

文章/答案/技术大牛

发布

1回答

apache-dolphinscheduler

com.mysql.cj.jdbc.exceptions.MysqlDataTruncation: Data truncation: Data too long for column 'app_link‘，并将此任务实例视为失败

浏览 32提问于2021-04-27得票数 0

1回答

我不太明白其中的一些句子：在成功的预提交之后，提交必须保证最终成功--我们的操作员和外部系统都需要这样的保证。如果提交失败(例如，由于间歇性网络问题)，整个Flink应用程序将失败，根据用户的重新启动策略重新启动，然后再次尝试提交。此过程至关重要，因为如果提交最终不成功，则会发生数据丢失。这意味着，如果提交最终没有成功，就会发生数据丢失。我将其解释为:提交可能成功，但由于某些原因，每次重新启动都会失败。在这种情

浏览 2提问于2019-01-30得票数 1

回答已采纳

1回答

在SparkSession实例化之前获取Yarn应用id

scala、apache-spark、hadoop-yarn

当spark-submit向Yarn提交申请时，会立即为其分配一个申请id。有没有办法在SparkSession实例化之前获取应用程序id？我正在做一些预检查，确定配置选项，我希望在这个阶段有一种方法来记录它，以防出现问题。

浏览 41提问于2020-10-07得票数 0

回答已采纳

1回答

纱线-火花并行作业

hadoop、hadoop-yarn

我制作了yarn-cluster，它只有一个工作节点，当我提交我的spark应用程序作业时，它似乎工作得很好。当我提交多个作业时，作业在hadoop队列上，并逐个处理提交的申请。我想并行处理我的申请，而不是一个接一个。对此有什么配置吗？或者不能在纱线上做到这一点？

浏览 15提问于2017-07-20得票数 1

0回答

Flink on yarn per-job方式启动任务失败？

node.js、jar、yarn、hadoop、大数据

提交flink on yarn任务时，第一个任务我启动用了7个TaskManager.提交命令为：flink run -m yarn-cluster -ynm flink-test -p 7 -yn 7-ys 1 -yjm 1024m -ytm 1024m -c xxx主类 jar包，这个任务是可以正常运行的。当我继续提交任务时（per-job方式）任务启动<em

浏览 1305提问于2020-09-01

1回答

为在纱线模式下运行的每个spark作业配置log4j

java、scala、apache-spark、hadoop、log4j

我在yarn客户端模式下运行spark作业。我在unix脚本中使用spark-submit命令运行这些作业。我想有每个spark作业运行的日志。我尝试使用下面的命令来获取日志：但在这里，如果spark作业<

浏览 1提问于2019-07-05得票数 1

3回答

纱线应用程序管理器和应用程序管理器的区别？

hadoop、mapreduce、hadoop-yarn

我理解MRv1 works.Now我是如何试图理解MRv2的..YARN中的应用程序管理器和应用程序管理器有什么不同？

浏览 1提问于2015-06-22得票数 19

回答已采纳

2回答

当提交的用户不是yarn (MRv2)或mapred (MRv1)时，Hadoop作业会失败

hadoop、hadoop2

我正在运行一个运行MRv1 (CDH5)和LocalFileSystem的测试集群，我唯一能够运行作业的用户是映射的(映射的是启动作业跟踪器/任务跟踪器守护进程的用户)。当以任何其他用户的身份提交作业时，作业会失败，因为作业跟踪器/任务跟踪器无法在.staging目录下找到job.jar。当YARN (MRv2)与LocalFileSystem配对时，我遇到了完全相同的问题，即，当提交</

浏览 2提问于2014-06-24得票数 5

2回答

星火流和星火应用程序可以在同一个纱线集群中运行吗？

hadoop、apache-spark、spark-streaming、hadoop-yarn

是否有可能在同一个hadoop集群中运行我的星火流和火花应用程序？如果是，是否有任何特定的配置可执行(例如节点数、RAM.)。还是我必须为火花流添加一个hadoop集群？我希望我的解释是清楚的。

浏览 2提问于2017-01-13得票数 2

回答已采纳

1回答

即使内部任务返回错误，气流仍将DAG标记为成功。

airflow、airflow-2.x

所以我有一个DAG，它使用BashOperator在我们的服务器上触发一个火花作业。spark作业从S3存储桶中读取数据，该桶被隔离到按天划分的分区中并执行操作，如果桶中没有数据，则返回一个'path不退出‘错误，即如果桶中没有数据。但所发生的是火花返回一个异常与logLevel的错误，但气流打印日志与信息水平。因此，即使任务中有错误，气流也会将其标记为成功运行。92} INFO - at org.apache.spark.deploy.SparkSubmit.main(SparkSubm

浏览 4提问于2022-11-17得票数 0

2回答

如何避免GAE数据存储中的并发数据修改

google-app-engine、google-cloud-datastore、objectify

假设下面是GAE数据存储类型，其中需要将两个不同的参与者信息存储到一个单一的实体中，如何维护数据的正确性？因此，有了这一功能，player1和player2都有可能试图修改同一个实体，并且可能会因为脏读取而错误地修改数据。

浏览 0提问于2014-06-04得票数 1

回答已采纳

1回答

应用程序母版或群集管理器是否启动容器/执行者-火花？

apache-spark

让我们说，我们有一个火花作业运行在集群模式，其中集群管理器是纱线。用户向集群管理器提交一个预编译的JAR、Python .集群管理器告诉特定的节点管理器启动应用程序母版。驱动程序将包含转换和操作的用户代码转换为一个名为DAG的逻辑计划。然后将DAG转换为物理执行计划应用程序主程序，然后与集群管理器通信并协商资源。请求资源(如首选执行器位置和容器数量)。

浏览 0提问于2020-05-31得票数 0

回答已采纳

1回答

如何在向hadoop提交远程应用程序时设置jar路径？

java、hadoop、hadoop-yarn

我试着在网站上运行第一个示例 Path jarPath = new Path("target/HadoopStudy-0.0.1-SNAPSHOT.jar"); amContainer.setLocalResources(localResources); 但我可以拿到申请证明并将应用程序提交给纱线，但是应用程序总是失败<

浏览 3提问于2013-11-08得票数 1

回答已采纳

6回答

星火中的纱线客户模式是什么？

hadoop-yarn、apache-spark

Apache最近将版本更新为0.8.1，其中提供了yarn-client模式。我的问题是，纱线-客户模式到底意味着什么？文件中说：与纱线独立模式的具体区别是什么？

浏览 5提问于2013-12-27得票数 53

回答已采纳

2回答

几天后将流作业状态更改为可接受的流作业

apache-spark、apache-kafka、spark-streaming、hadoop-yarn、kerberos

: application_xxxx_80353申请报告(状态:接受)客户端令牌:令牌{样: YARN_CLIENT_TOKEN，service:} 18/06/26 01:17:45警告security.UserGroupInformation: PriviledgedActionException as:user@domainKerberos ) cause:javax.security.s

浏览 1提问于2018-06-26得票数 3

1回答

parallel.invoke事务作用域实体框架

c#、.net、entity-framework、transactionscope

在我的EF4计划中，我有一个申请者和申请表。程序的多个实例定期运行，根据某些业务逻辑为申请者创建应用程序。在“申请表”中，一个申请者不能有多个“已提交/正在提交”记录。下面这段代码检查是否有已提交/正在提交的申请并插入它。它在用于申请者列表的foreach循环中运行。instances tr

浏览 4提问于2012-07-12得票数 1

回答已采纳

1回答

蜂巢无法创建地图/减少作业

hadoop、mapreduce、hive、diagnostics

我使用过hive-0.11.0、hadoop 2.0.3和mysql 5.6作为元数据hadoop给我诊断：应用程序org.apache.hadoop.fs.RawLocalFileSystem.getFileStatus(RawLocalFileSystem.java:492) 1次<

浏览 0提问于2014-02-12得票数 1

回答已采纳

3回答

Azure DevOps管道-如何捕获错误

azure、docker、continuous-integration、azure-devops、pipeline

我使用Azure DevOps构建管道来运行我的selenium web自动化测试(由maven运行，在docker容器中运行) 我的第二个问题是，是否有可能过滤管道输出日志？

浏览 0提问于2018-11-29得票数 0

回答已采纳

1回答

星火提交失败的原因与`spark.yarn.stagingDir`与主纱和部署模式集群

scala、apache-spark、apache-spark-sql

我遇到了一个场景，当我提供spark.yarn.stagingDir来激发-提交它开始失败，它没有给出任何根源的线索，我花了相当长的时间来找出它是因为spark.yarn.stagingDir参数。为什么当提供spark.yarn.stagingDir这个参数时火花提交失败？查看相关问题以获得更多详细信息spark-submit \ --conf "spark.ya

浏览 1提问于2017-10-05得票数 1

回答已采纳

1回答

如何在集群模式下在纱线上并行运行多个spark作业？

apache-spark、hadoop-yarn

例如，当我向yarn集群提交第一个作业时，该作业正在运行，然后提交第二个作业，在第一个作业成功或失败之前，第二个作业状态永远不会运行。有没有办法在集群模式下在纱线上并行运行多个spark作业？

浏览 0提问于2017-10-09得票数 2

点击加载更多