已在多节点模式下安装apache spark。现在，如果我安装yarn作为我的集群管理器，如何处理，因为我已经安装了Spark
如果您已经在多节点模式下安装了Apache Spark，并且希望使用YARN作为集群管理器，您需要进行以下步骤来配置和处理：
- 确保您已经正确安装了YARN和Spark，并且它们都能正常工作。
- 配置Spark以使用YARN作为其集群管理器。您可以通过编辑Spark的配置文件
spark-defaults.conf来完成此操作。在该文件中，您需要设置以下属性：
spark.master yarn
spark.submit.deployMode cluster
这将告诉Spark使用YARN作为其集群管理器，并将应用程序以集群模式提交。
- 在YARN上创建一个Spark应用程序。您可以使用以下命令提交一个Spark应用程序：
spark-submit --class <main-class> --master yarn --deploy-mode cluster <application-jar>
其中，<main-class>是您的Spark应用程序的主类，<application-jar>是您的应用程序的JAR文件。
- 监视和管理您的Spark应用程序。您可以使用YARN的Web界面或命令行工具来监视和管理正在运行的Spark应用程序。例如，您可以使用以下命令来查看正在运行的应用程序列表：
yarn application -list
您还可以使用其他YARN命令来获取有关应用程序的详细信息、杀死应用程序等。
总结：
通过配置Spark的spark-defaults.conf文件，将spark.master设置为yarn，并使用spark-submit命令以集群模式提交应用程序，您可以将Spark与YARN集成在一起。这样，YARN将负责管理Spark应用程序的资源分配和调度，以实现更高效的集群管理。
腾讯云相关产品和产品介绍链接地址：
相关·内容
spark新手。已在多节点模式下安装apache spark。现在，如果我要安装yarn作为我的集群管理器，如何处理，因为我已经安装了spark。另外
浏览 18提问于2017-07-10得票数 0
1回答
在现有Hadoop集群上安装Spark
linux、hadoop、apache-spark
我不是一个系统管理员，但我可能需要做一些管理任务，因此需要一些帮助。
我们有一个(远程) Hadoop集群，人们通常在集群上运行map-还原作业。我计划在集群上安装Apache，以便可以使用集群中的所有机器。这应该是可能的，我从上读到“您可以在现有的Hadoop集群旁边运行Spark，只需将它作为一个单独的服务在同一台机器上启动
浏览 1提问于2016-07-08得票数 6
1回答
是否需要在集群的所有节点上安装spark？
apache-spark、hadoop-yarn
我刚开始学习星火和建筑。我理解spark支持3个集群管理器，如纱线、独立和Mesos。如果我
浏览 0提问于2019-06-14得票数 1
3回答
在Yarn客户端上运行Spark
hadoop、apache-spark、hadoop-yarn
我最近设置了一个多节点Hadoop HA (Namenode & ResourceManager)集群(3个节点)，安装已经完成，所有守护进程都按预期运行2945 JournalNode我已经在我的NN1上安装了Scala和Spark，我可以通过发出以下命令来成功启动我的
浏览 2提问于2016-04-04得票数 0
4回答
可以从代码中运行spark yarn集群吗？
java、apache-spark、hadoop-yarn
我有一个MapReduce任务，我想从我的java代码中在Spark YARN集群上运行它。我还想在java代码中检索reduce结果(字符串和数字对、元组)。类似于：// I want to executeinpu
浏览 0提问于2016-02-20得票数 5
4回答
火花对纱线概念的认识
hadoop、apache-spark、hdfs、hadoop-yarn
我正试图了解星火如何在纱线集群/客户端上运行。我脑子里有一个问题。
是否有必要在纱线簇的所有节点上安装火花？我认为应该是因为集群中的工作节点执行一个任务，并且应该能够解码由驱动程序发送到集群中的代码(火花API)？它在文档中写道，“确保HADOOP_CONF_DIR或YARN_CONF_DIR指向包含Hadoop<
浏览 3提问于2014-07-23得票数 42
回答已采纳
2回答
在具有HA功能的Hadoop Yarn集群上部署Apache Spark
hadoop、apache-spark、hadoop-yarn
我是大数据环境的新手，刚开始使用Zookeeper安装具有HA功能的3节点Hadoop集群2.6。
现在一切运行正常，我已经在NN1和NN2上使用zookeeper测试了故障转移场景，并且运行良好。现在我正在考虑在我的Hadoop Yarn集群上安装Apache Spark，
浏览 1提问于2016-03-23得票数 0
8回答
ImportError:火花工作者上没有名为numpy的模块
python、numpy、apache-spark、pyspark
在客户端模式下启动火花放电。bin/pyspark --master yarn-client --num-executors 60，shell上的导入numpy很好，但是在kmeans中失败了。不知怎么的，执行者们没有安装过，这是我的感觉。我在任何地方都找不到好的解决办法，让工人们知道“无生气”的事。我试着设置PYSPARK_PYTHON，但这也不起作用。)
浏览 7提问于2016-02-05得票数 19
回答已采纳
1回答
在Spark应用程序中使用JDBC
apache-spark、jdbc、hortonworks-data-platform、phoenix、hdp
我写了一个用于批量加载Phoenix Table的Spark应用程序。现在一切都正常工作了几个星期，但有几天我遇到了一些重复行的问题。这是由错误的表统计信息引起的。但是，一种可能的解决方法是删除并重新生成此表的统计数据。
因此，我需要打开到Phoenix数据库的JDBC连接，并调用用于删除和创建统计数据的语句。由于我需要在通过Spark发送新数据
浏览 0提问于2019-02-19得票数 0
1回答
在此用例中使用的是哪个集群管理器spark？
apache-spark、apache-spark-sql
我有一个包含4个节点的hadoop集群。我从存储在hdfs中的文件创建了一些hive表。然后，我将mysql配置为hive metastore，并将hive-site.xml文件复制到spark的conf文件夹中。
为了启动hadoop集群，我启动了dfs和yarn.sh。然后我创建了hive表，现在我正在使用hiveconte
浏览 2提问于2016-05-09得票数 0
1回答
星火流需要使用Kafka的HDFS吗？
apache-spark、pyspark、apache-kafka、spark-streaming
我必须设计一个从twitter (流)读取传入数据的设置。我已经决定使用Apache 和火花流进行实时处理。它需要在仪表板上显示分析。现在，作为一个新手是这个领域，我假设的数据速率将是10 Mb/秒的最大值。我已经决定使用1台机器的卡夫卡的12核和16 GB的内存。*动物园管理员也将在同一台机器上。现在</em
浏览 0提问于2020-07-16得票数 1
1回答
Hadoop纱线集群/ Spark和RAM磁盘
apache-spark、hadoop-yarn、ramdisk
因为我的计算任务需要快速的磁盘I/O，所以我对在运行Spark的YARN集群中的每个工作节点上挂载大型RAM磁盘很感兴趣，因此我想知道YARN集群管理器如何处理这样的RAM磁盘占用的内存。例如，如果我将32 at分配给每台128
浏览 5提问于2018-06-30得票数 0
2回答
纱线集群模式和独立模式下的PySpark应用程序提交错误
python、apache-spark、hadoop、pyspark
for each computer on hadoop cluster)import numpy as npspark = SparkSession.builder \我使用以下命令提交应用程序：--mast
浏览 13提问于2020-06-25得票数 1
3回答
如何使用火花放电启动独立的集群？
python、apache-spark、pyspark
我在用python 2.7在ubuntu下使用pyspark，我用并试图按照设置spark集群。我找不到脚本start-master.sh . do，我假设它与我安装了火花放电而不是普通火花有关
我发现了一个，我可以通过吡火花将一个工作节点连接到主节点，但是如何用吡火花启动主节点呢？
浏览 4提问于2017-07-24得票数 3
回答已采纳
1回答
spark executors是如何创建的？
apache-spark、pyspark
我正在试图理解spark executors是如何推出的，是由谁推出的。我的理解是，Driver将负责一切，特别是SparkSession.builder将创建到集群管理器和执行器的连接。这是否意味着执行器在builder.getOrCreate()期间由驱动程序启动builder.config
浏览 1提问于2021-02-25得票数 0
2回答
按给定集群配置Spark
java、python、scala、apache-spark、pyspark
我必须用python将一些应用程序发送到Apache Spark集群。这里给出了一个集群管理器和一些工作者节点，这些节点具有要将应用程序发送到的地址。我的问题是，如何在我的本地计算机上设置和配置Spark，以便将这些请求与要计算的数据一起发送到集群？
我正在使用Ubuntu
浏览 16提问于2016-09-16得票数 0
回答已采纳
2回答
在独立模式下运行spark集群与Yarn/Mesos
hadoop、apache-spark、hadoop-yarn、mesos
目前，我以独立模式运行我的spark集群。我正在从平面文件或Cassandra(取决于作业)读取数据，并将处理后的数据写回Cassandra本身。我想知道如果我切换到Hadoop并开始使用像YARN或mesos这样的Resource manager，它是否会给我带来额外的性能优势，比如执行时间和更好的资源管理？
浏览 2提问于2016-04-01得票数 4
1回答
如何设置HDFS文件系统以使用HDFS运行Spark作业？
apache-spark、hadoop
我对在独立模式下使用Minio/HDFS运行Spark很感兴趣。我已经下载了为Apache Hadoop 2.7和更高版本预先构建的Spark 2.
浏览 19提问于2019-08-22得票数 0
回答已采纳
3回答
HDFS中的数据节点是否与spark集群中的executor节点相同？
apache-spark、hadoop、mapreduce、hdfs
我正在学习Apache Spark和HDFS。尽管我对一件事感到困惑，但我对这两种语言大体上都理解。我的问题是: HDFS中的数据节点是否与spark集群中的executor节点相同？换句话说，HDFS中的节点是对其包含的数据进行操作，还是将来自HDFS中的数据节点的数据发送到spar
浏览 1提问于2019-05-21得票数 0
4回答
在EMR上向Spark添加JDBC驱动程序
jdbc、apache-spark、amazon-emr
我正在尝试将JDBC驱动程序添加到在Amazon之上执行的Spark集群中，但我一直得到以下内容：
java.sql.SQLException:没有为异常找到合适的驱动程序。使用spark.executor.extraClassPath spark.driver.extraClassPath参数。使用spark.driver.userClassPathFirst=true时，当我使用这个选项时，我得到了一个不同的错误
浏览 3提问于2015-09-24得票数 3
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
活动推荐
腾讯云开发者
