Apache Airflow -必须在环境中设置HADOOP_CONF_DIR或YARN_CONF_DIR，才能使用主‘yarn- -When’运行Spark提交失败的客户端
Apache Airflow是一个开源的工作流管理平台，用于调度和监控数据处理任务。它提供了一个可视化的界面，可以方便地创建、调度和监控工作流。
在使用Apache Airflow时，如果要使用主‘yarn- -When’运行Spark提交失败的客户端，需要在环境中设置HADOOP_CONF_DIR或YARN_CONF_DIR。这两个环境变量用于指定Hadoop或YARN的配置文件所在的目录。
设置HADOOP_CONF_DIR或YARN_CONF_DIR的目的是为了让Apache Airflow能够正确地加载Hadoop或YARN的配置信息，以便能够与集群进行通信和提交任务。
具体操作步骤如下：
- 确保Hadoop或YARN已经正确安装和配置，并且相关的配置文件已经准备好。
- 打开Apache Airflow的配置文件（通常是airflow.cfg），找到并编辑以下两个配置项：
hadoop_conf_dir：设置为Hadoop配置文件所在的目录路径。yarn_conf_dir：设置为YARN配置文件所在的目录路径。
- 将配置项保存并重新启动Apache Airflow服务。
设置完成后，Apache Airflow就能够正确加载Hadoop或YARN的配置信息，并且可以使用主‘yarn- -When’运行Spark提交失败的客户端。
Apache Airflow的优势在于它具有灵活的任务调度和监控功能，可以支持复杂的工作流场景。它还提供了丰富的插件和扩展机制，可以方便地与其他工具和系统集成。
推荐的腾讯云相关产品是腾讯云数据工厂（DataWorks），它是一款全面的数据开发与运维一体化平台，提供了可视化的工作流设计和调度功能，可以方便地管理和监控数据处理任务。腾讯云数据工厂的产品介绍链接地址为：https://cloud.tencent.com/product/dtfd
相关·内容
我需要将spark应用程序/作业提交到远程spark集群。我的机器上当前有spark，主节点的IP地址是yarn-client。顺便说一句，我的机器不在集群中。我使用此命令提交作业
./spark-submit --class SparkTest --deploy-mode client /home/vm/app.jar
我已经将我主人的地址硬编码到我的应用程序的表单中
val spark_master = spark://IP:7077
但是我得到的只是一个错误
16/06/06 03:04:34 INFO AppClient$ClientEndpoint: Connecting to m
浏览 1提问于2016-06-06得票数 15
回答已采纳
几个星期以来，我一直在努力向我的cloudera集群投球。我真的希望有人知道这是怎么回事。
我创建了一个脚本，它用所有必需的参数调用spark submit。屏幕转储出以下行
Using properties file: null
Using properties file: null
Parsed arguments:
master yarn
deployMode cluster
executorMemory null
executorCores null
totalExec
浏览 4提问于2014-08-21得票数 1
回答已采纳
1回答
在单节纱上撒播
、、
我正在学习一些数据科学，我试图发现和理解与它相关的各种工具。
到目前为止，我已经在Mac上安装了Hadoop2.8.0，现在我也想让Spark2.1.1工作。我知道Spark不一定需要Hadoop环境才能工作，但我也知道，为了与其他应用程序共享数据，让其运行在纱线上是很有用的。
在网上阅读了不同的指南和建议之后，这就是我所做的：
在Hadoop配置文件中，我添加了纱线-site.xmlyarn.nodemager.aux-services mapreduce_shuffle org.apache.hadoop.mapred.ShuffleHandler yarn.resourcemanag
浏览 2提问于2017-06-09得票数 0
回答已采纳
我有一个带有spark-on-yarn的CDH-5.4.0，4节点集群。
我有一个环境变量YARN_CONF_DIR，它指向一个目录，该目录包含从集群成员之一获取的配置文件的副本(其中是yarn资源管理器的地址)。
我想从java运行spark作业：
SparkConf sparkConf = new SparkConf().
setMaster("yarn-cluster").// "yarn-cluster" or "yarn-client"
setAppName("SparX"
浏览 1提问于2015-05-12得票数 3
我是新来的阿帕奇火花。我已经在星火独立的mode.but中测试了一些应用程序，我想运行应用程序纱线模型，我正在运行Apache-Smark2.1.0中的windows.Here是我的代码
c:\spark>spark-submit2 --master yarn --deploy-mode client --executor-cores 4 --jars C:\DependencyJars\spark-streaming-eventhubs_2.11-2.0.3.jar,C:\DependencyJars\scalaj-http_2.11-2.3.0.jar,C:\DependencyJa
浏览 7提问于2017-06-08得票数 17
我正在尝试使用yarn运行Spark，我遇到了这个错误：
主线程java.lang.Exception异常:当使用主'yarn‘运行时，必须在环境中设置HADOOP_CONF_DIR或YARN_CONF_DIR。
我不确定“环境”在哪里(具体是什么文件？)我尝试使用：
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export YARN_CONF_DIR=$HADOOP_HOME/etc/hadoop
在bash_profile中，但这似乎没有帮助。
浏览 43提问于2017-08-16得票数 7
1回答
我正试着用以下方法来运行一个与纱线有关的火花作业：
./bin/spark-submit --class "KafkaToMaprfs" --master yarn --deploy-mode client /home/mapr/kafkaToMaprfs/target/scala-2.10/KafkaToMaprfs.jar
但面对这个错误：
/opt/mapr/hadoop/hadoop-2.7.0 17/01/03 11:19:26警告NativeCodeLoader:无法为平台加载本机hadoop库.在适用的情况下使用内置java类17/01/03 11:19:38错
浏览 0提问于2017-01-03得票数 1
1回答
我们正在一个EC2实例上构建一个airflow服务器，该服务器与EMR集群通信以运行spark作业。我们正在尝试提交一个BashOperator DAG，它为一个简单的字数统计应用程序运行spark-submit命令。下面是我们的spark提交命令：
./spark-submit --deploy-mode client --verbose --master yarn wordcount.py s3://bucket/inputwordcount.txt s3://bucket/outputbucket/ ;
我们得到以下错误:在线程"main“org.apache.spark.Spa
浏览 0提问于2019-07-19得票数 0
1回答
假设我运行了pyspark命令，得到了SparkSession类型的全局变量spark。据我所知，这个spark与星火主有一个连接。我能打印这个连接的详细信息，包括这个火花主的主机名吗？
浏览 0提问于2018-05-02得票数 3
回答已采纳
我有一个设置了Spark独立实例的远程主机(目前在同一台机器上有一个主实例和一个从实例)。我也有与spark-core依赖的本地Java代码和与实际星火应用程序打包的jar。我尝试使用SparkLauncher类启动它，就像它的Javadoc中所描述的那样。
下面是依赖关系：
<groupId>org.apache.spark</groupId>
<artifactId>spark-core_2.10</artifactId>
<version>${spark.version}</
浏览 0提问于2017-10-05得票数 5
我有:Ubuntu14.04，Hadoop2.7.7，Spark2.2.0。
我刚刚装好了所有的东西。
当我尝试运行星火的例子时：
bin/spark-submit --deploy-mode client \
--class org.apache.spark.examples.SparkPi \
examples/jars/spark-examples_2.11-2.2.0.jar 10
我得到以下错误：
信息yarn.Client:客户端令牌: N/A诊断:由于与exitCode：-1000一起退出的appattempt_155
浏览 0提问于2019-03-14得票数 0
我已经设法运行了hadoop示例grep，wordcount...然而，我发现尝试让我自己的代码运行起来很困难……
这就是我所做的；
我从示例jar中复制了grep代码，并对其进行了自己的更改。我使用命令javac对其进行了编译；我可以在指定的文件夹中看到"org/apache/hadoop/examples/filename.class“
然后我将它(文件夹)打包到一个jar中；现在它是org/apache/.....现在，当我运行命令"bin/hadoop jar folder.jar filename input output“时，我一直收到这个错误：
Exception
浏览 0提问于2012-03-28得票数 0
回答已采纳
我正试图在家里建立一个集群，以满足我的个人需求(学习)。首先我做了Hadoop+Yarn。MR2在工作。第二，我试图添加火花，但得到了一个错误的缺失类。
[root@master conf]# spark-shell --master yarn-client
Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/fs/FSDataInputStream
...
Caused by: java.lang.ClassNotFoundException: org.apache.hado
浏览 4提问于2015-09-17得票数 1
回答已采纳
当我们想从Spark连接HDFS时，我们只是将HADOOP_CONF_DIR设置为而不是将各种参数传递给Spark
export HADOOP_CONF_DIR=/etc/hadoop/conf
/usr/hdp/current/spark-client/bin/spark-submit --class org.apache.spark.examples.SparkPi --master yarn --deploy-mode cluster --executor-memory 1G --num-executors 3 /usr/hdp/current/spark-cli
浏览 4提问于2020-08-03得票数 1
我已经使用Eclipse在Java中开发了一个Spark应用程序。
到目前为止，我正在使用独立模式，将主地址配置为“local*”。
现在，我想在Yarn集群上部署这个应用程序。
我找到的唯一官方文件是
与部署在mesos集群或独立()上的文档不同，在SparkContext中没有任何URL可用于主节点。
很明显，我必须使用行命令来在Yarn上部署火花。
您是否知道是否有一种方法可以在SparkContext中配置主入口，比如独立模式和mesos模式？
浏览 2提问于2016-12-07得票数 3
回答已采纳
//etl.py
start = DummyOperator(task_id = 'start', dag = dag)
job1 = SparkSubmitOperator(task_id = 't1', application = '/home/airflow/dags/test.py',
name = 'test', conf = {'spark.master': 'yarn'}, dag = dag)
start >> job1
//
浏览 1提问于2022-08-10得票数 0
回答已采纳
关于提交申请的火花说：
根据--部署模式的值，以客户端或群集模式连接到纱线群集。将根据HADOOP_CONF_DIR或YARN_CONF_DIR变量找到集群位置。
恐怕我还没明白。我发现HADOOP_CONF_DIR设置为/etc/hadoop，其中包含许多shell脚本和配置文件。
我应该在哪里找到星团的位置呢？
浏览 1提问于2018-05-06得票数 2
回答已采纳
1回答
我们的应用程序的hadoop集群安装了Spark1.5。但是由于特定的需求，我们使用2.0.2版本开发了spark job。当我向yarn提交作业时，我使用--jars命令覆盖集群中的spark库。但它仍然没有选择scala库jar。它抛出一个错误，说明
ApplicationMaster: User class threw exception: java.lang.NoSuchMethodError: scala.Predef$.ArrowAssoc(Ljava/lang/Object;)Ljava/lang/Object;
java.lang.NoSuchMethodError: scal
浏览 3提问于2016-12-16得票数 2
现在我使用的是Titan1.0.0-hadoop1和hadoop1.2.1，我在/etc/ Class_path中设置了如下配置文件：
export HADOOP_PREFIX=/usr/local/hadoop
export HADOOP_MAPRED_HOME=$HADOOP_PREFIX
export HADOOP_COMMON_HOME=$HADOOP_PREFIX
export HADOOP_CONF_DIR=$HADOOP_PREFIX/conf
export HADOOP_CONF=$HADOOP_PREFIX/conf
export HADOOP_HDFS_HOME=$HADO
浏览 0提问于2016-11-25得票数 0
1回答
请有人帮帮我，我正试图在Haoop Yarn上安装火花，我收到了以下错误：
org.apache.spark.SparkException: Yarn application has already ended! It might have been killed or unable to launch application master.
at org.apache.spark.scheduler.cluster.YarnClientSchedulerBackend.waitForApplication(YarnClientSchedulerBackend.scala:11
浏览 3提问于2015-09-02得票数 1
回答已采纳
我使用CDH 6.3.2
hadoop是HA
我用星星之火制作了一个工作流
运行这个工作流，我得到一个错误
Failing Oozie Launcher, java.net.UnknownHostException: nameservice1
java.lang.IllegalArgumentException: java.net.UnknownHostException: nameservice1
at org.apache.hadoop.security.SecurityUtil.buildTokenService(SecurityUtil.java:445)
at org
浏览 18提问于2021-06-17得票数 1
回答已采纳
2回答
我使用的是下面的停靠-组合映像，我从以下位置获得了这个映像：
version: "3"
x-airflow-common: &airflow-common
image: ${AIRFLOW_IMAGE_NAME:-apache/airflow:2.0.0-python3.7}
environment: &airflow-common-env
AIRFLOW__CORE__EXECUTOR: CeleryExecutor
AIRFLOW__CORE__SQL_ALCHEMY_CONN: postgresql+psycopg2://airfl
浏览 26提问于2021-06-05得票数 17
回答已采纳
1回答
我有一个安装了火花的码头集装箱，我正在尝试提交作业到其他集群上使用马拉松。码头集装箱有纱线和hadoop conf dir的导出值，纱线文件也包含emr主ip的正确地址，但我不确定它从哪里作为本地主机？
ENV YARN_CONF_DIR="/opt/yarn-site.xml"
ENV HADOOP_CONF_DIR="/opt/spark-2.2.0-bin-hadoop2.6"
Yarn.xml
<property>
<name>yarn.resourcemanager.hostname</name>
&
浏览 1提问于2018-09-10得票数 1
回答已采纳
我正在使用Apache批处理POST方法提交Spark作业。
这个HTTP请求是使用AirFlow发送的。提交作业后，我使用批处理Id跟踪状态。
我想在气流日志上显示驱动程序(客户端日志)日志，以避免AirFLow和Apache /Resource访问多个地方。
使用Apache可以这样做吗？
浏览 4提问于2019-01-20得票数 4
回答已采纳
1回答
我有一个星火/纱线集群与3个奴隶安装在AWS上。
我激发-提交一个类似于这样的作业：~/spark-2.1.1-bin-hadoop2.7/bin/spark-submit --master yarn --deploy-mode cluster my.py，最后的结果是一个文件，其中包含集群中所有奴隶的所有主机名。我本来希望在输出文件中得到一个混合主机名，但是，我在输出文件中只看到一个主机名。这意味着纱线永远不会利用集群中的其他奴隶。
，我是不是在配置中遗漏了什么？
下面还包括了我的spark-env.sh设置。
HADOOP_CONF_DIR=/usr/local/hadoop/etc/ha
浏览 3提问于2017-05-28得票数 0
1回答
我正在尝试设置一个小型星火库集群进行测试。集群由3名工作人员和1名主服务器组成。在每个节点上，我设置了Java、scala和spark。配置文件如下所示：spark-defaults.conf:
spark.master spark://test01.scem:7077
spark.eventLog.enabled true
spark.eventLog.dir hdfs://test01.scem/user/spark/applicationHistory
spark.executor.memory 4g
spar
浏览 0提问于2017-09-03得票数 0
1回答
我是个初学者。当我使用基本代码运行木星笔记本时，它显示了如下错误：
NameErr Traceback (most recencall last)
<ipython-input-1-67f48183a30b> in <module>()
----> 1 sc.master
NameError: name 'sc' is not defined
我使用以下命令行以Yarn模式输入：
tigerfish@master:~/桌面$ PYSPARK_DRIVER_PYTHON=ipython PYSPAR
浏览 4提问于2022-03-09得票数 0
我在spark-env.sh脚本中定义了HADOOP_HOME、HADOOP_CONF_DIR、YARN_CONF_DIR。但是，当我尝试使用以下命令在纱线上加载sparksession时
val sess = new SparkConf().setMaster("yarn-client").setAppName("default")
它超时了
23:36:44.219 [run-main-0] DEBUG o.a.h.i.retry.RetryInvocationHandler - Exception while invoking getClusterMetr
浏览 7提问于2016-12-23得票数 0
我正在尝试使用InProcessLauncher从Java Spring应用程序提交集群模式的spark 2应用程序。我之前使用的是SparkLauncher类，这个类很有效，但是它为每个作业启动了一个长时间的SparkSubmit java进程，这消耗了太多的资源和大量的作业。 我的代码设置了sparkLauncher.setMaster("yarn")和sparkLauncher.setDeployMode("cluster") 在启动我的HADOOP_CONF_DIR应用程序之前，我将yarn环境变量设置为包含我的配置的目录(yarn-site.xml等
浏览 29提问于2021-05-08得票数 0
我已经在现有的Airflow 2.0.0安装的基础上安装了Apache Spark provider，安装方法如下： pip install apache-airflow-providers-apache-spark 当我启动When服务器时，它无法导入提供程序： [2021-01-19 18:49:46,871] {providers_manager.py:279} WARNING - Exception when importing 'airflow.providers.apache.spark.hooks.spark_jdbc.SparkJDBCHook' from &
浏览 16提问于2021-01-20得票数 3
我正在尝试将一个用Scala编写的Spark项目从Spark1.2.1升级到1.3.0，因此我将build.sbt更改如下：
-libraryDependencies += "org.apache.spark" %% "spark-core" % "1.2.1" % "provided"
+libraryDependencies += "org.apache.spark" %% "spark-core" % "1.3.0" % "provided"
然后制作一个ass
浏览 1提问于2015-03-20得票数 7
回答已采纳
1回答
我在AWS中创建了一个EMR集群(emr-5.36.0)，其中包含默认的sparks组件(Spark2.4.8，Hive2.3.9)。我已经在EC2上，在python虚拟环境中安装了Pyspark (3.3.0)。从那里，我想运行“火花-提交”命令到电子病历集群。
为了测试这个命令，我使用了底部的python代码
为了在YARN_CONF_DIR上配置EC2环境变量，我将SET-site.xml文件从/etc/hadoop/ node .空/复制到EC2的一个文件夹中。
但是现在，在EC2上，当我试图运行火花提交时，我得到了：
$ export YARN_CONF_DIR=/home/me/s
浏览 10提问于2022-07-18得票数 0
回答已采纳
2回答
我通过Homebrew安装了Hadoop和Spark
$ brew list --versions | grep spark
apache-spark 2.2.0
$ brew list --versions | grep hadoop
hadoop 2.8.1 2.8.2 hdfs
其中，我使用的是Hadoop 2.8.2。
我按照来配置Hadoop。另外，遵循将spark.yarn.archive配置为：
spark.yarn.archive hdfs://localhost:9000/user/panc25/spark-jars.zip
以下是我在.bas
浏览 0提问于2017-11-13得票数 2
与纱线母机启动火花壳时，会出现以下错误.壳牌正在与火花本地大师一起工作。
admin@XXXXXX:~$ spark-shell --master yarn 21/11/03 15:51:51 WARN Utils: Your hostname, XXXXXX resolves to a loopback address:
127.0.1.1; using 192.168.29.57 instead (on interface wifi0) 21/11/03 15:51:51 WARN Utils: Set SPARK_LOCAL_IP if you need to bind to anoth
浏览 12提问于2021-11-03得票数 2
回答已采纳
2回答
我有一个火花和气流集群，这是建立与码头群。气流容器不能如我所期望的那样包含火花提交。
我正在使用github中存在的以下图像
火花:大数据-欧洲/码头-hadoop-火花-工作台
气流:puckel/码头-气流(CeleryExecutor)
我准备了一个.py文件并将其添加到dags文件夹下。
from airflow import DAG
from airflow.contrib.operators.spark_submit_operator import SparkSubmitOperator
from datetime import datetime, timedelta
arg
浏览 0提问于2018-09-24得票数 2
我正在尝试使用气流来触发本地星火独立点上的spark-examples.jar，但我总是遇到异常。当我在终端上手动提交相同的作业时，它工作如下：
spark-submit \
--class org.apache.spark.examples.SparkPi \
--master spark://<HOSTNAME>:7077 \
--deploy-mode cluster \
--executor-memory 1G \
--total-executor-cores 1 \
/path/to/spark-examples_2.11-2.3.1.jar \
浏览 1提问于2018-08-01得票数 0
回答已采纳
我正在尝试以纱线集群模式运行一个应用程序。下面是shell脚本的设置：
spark-submit --class "com.Myclass" \
--num-executors 2 \
--executor-cores 2 \
--master yarn \
--supervise \
--deploy-mode cluster \
../target/ \
此外，我还得到了以下错误。以下是来自YARN日志应用程序的错误详细信息
INFO : org.apache.spark.deploy.yarn.ApplicationMaster - Registered sig
浏览 0提问于2016-02-09得票数 4
1回答
我有一个码头-合成管道与容器，用于气流和火花。我想安排一个SparkSubmitOperator作业，但是它在错误java.lang.IllegalArgumentException: Too large frame: 5211883372140375593中失败了。星火应用程序只包括创建一个火花会话(我已经注释掉了所有其他内容)。当我手动运行星火应用程序(通过进入星火容器的bash并执行星火提交)时，一切都很好！此外，当我不创建一个火花会话，而只是一个SparkContext，它工作！
这是我的船坞-复合。Here：
version: '3'
x-airflow-com
浏览 3提问于2021-07-25得票数 0
回答已采纳
我已经设法运行了hadoop和spark，就像https://www.linode.com/docs/databases/hadoop/install-configure-run-spark-on-top-of-hadoop-yarn-cluster/中解释的那样。 然而，作为一个初学者，我发现在本地机器上运行简短的例子要容易得多。 例如，对于代码airportsNameAndCityNames.saveAsTextFile("out/airports_by_latitude.text") 看/home/foo/out/airports_by_latitude.text比看h
浏览 23提问于2019-06-12得票数 0
回答已采纳
我是个新手，目前在Hadoop2.6.5安装程序上作为t3.xlarge (16 as mem)上的一个节点运行spark 2.1.2。一直在增加spark.executor.memory -> 12g，spark.driver.maxResultSize -> 12g，spark.driver.memory -> 6g，但却一再获得GC开销限制，有什么问题和建议吗？
辅助qns:在此单节点设置中，是否更好地将更多mem分配给执行程序或驱动程序？
Traceback (most recent call last):
File "/usr/local/lib/pyt
浏览 10提问于2021-11-22得票数 1
我正在尝试在一个新的AWS集群中使用PySpark，但是它失败了，出现了以下错误：
py4j.protocol.Py4JJavaError: An error occurred while calling None.org.apache.spark.api.java.JavaSparkContext.
: java.lang.NoClassDefFoundError: com/sun/jersey/api/client/config/ClientConfig
at org.apache.hadoop.yarn.client.api.TimelineClient.createTimeli
浏览 3提问于2018-04-05得票数 1
回答已采纳
我在远程Ubuntu机器上运行着一个Spark和Worker。
我正在尝试运行示例。但是当我从我的Windows机器提交到Linux集群时，我得到
C:/spark 1.6.0-bin-hadoop2.6/bin/spark提交-主火花://10.123.45.67:6066-部署模式集群-类com.company.spark.app.JavaDirectKafkaWordCount "C:/Dev/spark-app/target/spark-app-1.0-SNAPSHOT.jar“kafka-服务器:9092 topic1
使用REST应用程序提交协议运行Spark。使用spa
浏览 3提问于2016-02-11得票数 0
我想在Yarn上部署spark2.3.2，Hadoop2.7.3。
但是当我运行的时候：
spark-shell
始终引发错误：
ERROR TransportClient:233 - Failed to send RPC 4858956348523471318 to /10.20.42.194:54288: java.nio.channels.ClosedChannelException
...
ERROR YarnScheduler:70 - Lost executor 1 on dc002: Slave lost
dc002和dc003都会引发错误Failed to send RPC和S
浏览 0提问于2019-02-20得票数 3
1回答
我想在纱线模式下使用hadoop设置一个集群。我想使用spark进行映射-减少，并使用submit来部署我的应用程序。我想在cluster..can上工作，任何人都可以帮助我使用windows在集群中安装HADOOP。
浏览 0提问于2017-03-13得票数 0
我使用3个虚拟机作为主机，使用Ambari设置了一个集群(YARN)。
在哪里可以找到HADOOP_CONF_DIR的值？
# Run on a YARN cluster
export HADOOP_CONF_DIR=XXX
./bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master yarn-cluster \ # can also be `yarn-client` for client mode
--executor-memory 20G \
--num-executors 50 \
浏览 1提问于2015-12-17得票数 9
1回答
为什么火花执行者还没死
、、、
这是我的设置：
运行airflow的Kubernetes集群将spark作业提交给Kubernetes集群，作业运行良好，但是容器应该在完成任务后死亡，但它们仍然挂在那里。
cluster.Dag上出现的气流设置是在气流对接器图像中烘焙的，因为不知何故，我无法将达格与s3同步。由于某些原因，cron无法运行。将spark作业提交给K8S集群，作业运行良好。，但现在它没有在执行和完成作业后死亡，它仍然存在。
这是我的SparkSubmitOperator函数
spark_submit_task = SparkSubmitOperator(
task_id='spark_submi
浏览 1提问于2019-09-17得票数 0
1回答
我在使用Apache气流。
我使用的是需要同时安装Java和apache-airflow-providers-apache-spark的apache-airflow-providers-apache-spark，所以我的Dockerfile如下所示：
FROM apache/airflow:2.2.3-python3.9
ENV PYTHONPATH "${PYTHONPATH}:${AIRFLOW_HOME}"
USER root
RUN apt-get update \
&& apt-get install -y --no-install-recomme
浏览 3提问于2022-02-16得票数 1
回答已采纳
1回答
我想使用spring引导，并在一个具有kerberos启用功能的Yarn集群中一起火花。(我是短跑新手)
我的先决条件是：
I不能使用submit，应用程序是以这样的方式启动的：
java -jar <my_jar>
我用spring-boot-maven-plugin.构建jar
以下是我的简化代码：
@SpringBootApplication public class A implements ApplicationRunner {
@Autowired
B b;
public static void main(String[] args) {
浏览 4提问于2020-06-24得票数 0
1回答
我有一个码头-撰写文件，在其中定义的服务气流，火花，postgreSQL和雷迪斯。当我执行对接-撰写和打开气流UI，我尝试添加一个火花连接类型，以便我可以运行火花作业内部气流在码头。但是，正如您可以看到的那样，Spark作为连接类型不可见：
这是我的停靠-撰写文件：
# Feel free to modify this file to suit your needs.
---
version: '3'
x-airflow-common:
&airflow-common
# In order to add custom dependencies or u
浏览 11提问于2022-01-31得票数 0
1回答
我们正在使用Airflow来计划我们在电子病历上的作业，目前我们想使用apache Livy通过Airflow提交Spark作业，我需要更多的指导如下:哪种Airflow-Livy操作符我们应该用于python、3+、pyspark和scala作业。我看过以下内容：和
想知道更多关于稳定的AirflowLivy操作符，任何人在生产中使用，可能是在亚马逊网络服务堆栈。
还提供了集成的逐步安装指南。
浏览 4提问于2020-04-13得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
实时音视频活动推荐
腾讯云开发者
