spark-defaults.conf中的spark.{driver，executor}.memory和spark-env.sh中的SPARK_WORKER_MEMORY有什么区别？
spark-defaults.conf中的spark.{driver，executor}.memory是用来配置Spark应用程序的驱动程序和执行程序的内存分配大小的参数。
- spark.driver.memory：指定驱动程序的内存分配大小，用于存储驱动程序的数据和执行任务。
- spark.executor.memory：指定执行程序的内存分配大小，用于存储执行程序的数据和执行任务。
这两个参数的区别在于它们分别控制了不同的组件的内存分配。驱动程序是Spark应用程序的主要控制器，负责调度任务和协调执行。执行程序是实际执行任务的工作节点。
另一方面，spark-env.sh中的SPARK_WORKER_MEMORY参数用于配置Spark工作节点的内存分配大小。工作节点是Spark集群中实际执行任务的计算节点。SPARK_WORKER_MEMORY参数指定了每个工作节点可用于执行任务的内存大小。
区别总结：
- spark.driver.memory和spark.executor.memory是用于配置驱动程序和执行程序的内存分配大小。
- SPARK_WORKER_MEMORY是用于配置工作节点的内存分配大小。
推荐的腾讯云相关产品和产品介绍链接地址：
- 腾讯云Spark服务：https://cloud.tencent.com/product/spark
相关·内容
1回答
有两个配置文件: spark-defaults.conf和spark-env.sh我应该控制哪一个来调整内存
浏览 6提问于2017-01-18得票数 1
2回答
无法在闪闪发光的水外壳中将工作内存增加到2 2GB以上
apache-spark、h2o、sparkling-water
org.apache.spark.SparkException: Asked to launch cluster with 2048 MB RAM / worker but requested 20480 MB/workerexport SPARK_WORKER_MEMORY=108GB以及spark-defaults.conf中的以下内容：
spar
浏览 1提问于2016-04-07得票数 1
3回答
如何为工人使用独立硕士的资源？
apache-spark
我的集群包含以下硬件：
在Jacek Laskowski的回答之后，我设置了以下设置： spark.driver.cores=2
浏览 9提问于2015-12-01得票数 3
1回答
群集上的独立spark
apache-spark、cluster-computing、apache-spark-standalone
我在集群的每个节点上安装了pre_built版本的spark (只需下载并解压缩)我是否必须将文件slaves.template和spark-env.sh.template复制到conf目录中，然后编辑它们以使我的机器相互连接？如果是，我如何仅通过命令来执行此操作我在一台远程机器上使用master (当我想从我的本地机器使用以下命令访问spark web UI时
IP_
浏览 2提问于2016-08-30得票数 0
4回答
Spark忽略了SPARK_WORKER_MEMORY？
apache-spark
我使用的是独立集群模式1.5.2。spark.serializer org.apache.spark.serializer.KryoSerializer
spark.executor<
浏览 0提问于2016-01-13得票数 0
3回答
火花工作者记忆
apache-spark
我已经建立了一个星星之火(1.6)独立的集群。有一个主人和3台机器下的conf/奴隶文件作为工人。即使我已经分配了4GB内存给我的每个工作人员火花，为什么它只使用1024 my时，应用程序正在运行？我希望它使用分配给它的所有4GB。帮我找出我做错了什么。下面是spark母版页的屏幕截图(当应用程序使用spark submit运行时)，在内存列下，它显示了在4.0GB旁边括号中使用的1024.0 MB。我也尝试设置-执行器-内存4G选项与火花提交，它不工作(在<
浏览 1提问于2016-04-04得票数 9
回答已采纳
1回答
apache :添加JVM参数
java、apache-spark
我想在apache中使用jdbc驱动程序，但是jdbc有一个奇怪的问题，就是时区移位。这个问题解释了。我做了一些搜索，我发现我可能被设置了以下参数：spark.executor.extraJavaOptions在主配置文件中？spark-defaults.conf
在奴隶配置文件中？<e
浏览 4提问于2020-04-13得票数 0
1回答
在spark集群中配置主节点
apache-spark
提前道歉，因为我是新来的火花。我已经在独立模式下创建了一个包含4个worker的spark集群，在成功配置worker属性之后，我想知道如何配置master属性。我知道工作进程可以在conf/spark-env.sh文件中配置，并且具有可以设置的参数，例如'SPARK_WORKER_MEMORY‘和'SPARK_WORKER_CORES’
我的问题是:如何配置主服务器的属性因为此文件中没
浏览 10提问于2017-07-26得票数 1
回答已采纳
5回答
如何更改apache火花工作器的每个节点内存
memory、cluster-computing、config、apache-spark
当我使用一个主服务器和三个从服务器运行集群时，我在母版监视器页面上看到了这一点：2.0 GB (512.0 MB Used)6.0 GB(512.0 MB Used)export SPARK_WORKER_MEMORY=6gexport SPARK_DAEMON_MEMORY
浏览 2提问于2014-06-16得票数 34
回答已采纳
1回答
火花配置，SPARK_DRIVER_MEMORY、SPARK_EXECUTOR_MEMORY和SPARK_WORKER_MEMORY的区别是什么？
linux、memory、apache-spark、environment-variables、config
我做了我的工作，阅读了的文档
浏览 8提问于2015-04-29得票数 5
回答已采纳
1回答
火花执行器:初始堆大小无效：-Xms0M
java、apache-spark、jvm、apache-spark-sql
thrift.bind.host=myhost --hiveconf hive.server2.thrift.port=9999export SPARK_JAVA_OPTS="-Dspark.executor.memory=512M"
export SPARK_EXECUTOR_MEM
浏览 2提问于2016-01-29得票数 3
1回答
Pyspark驱动程序中Python子进程的内存分配
python、apache-spark、pyspark
当在PySpark驱动程序中创建新的Python进程(例如，使用JobLib或其他多处理库)时，这些进程是共享Spark驱动程序内存，还是在该PySpark驱动程序JVM之外分配内存？
浏览 17提问于2018-07-21得票数 2
回答已采纳
2回答
如何在web应用程序中为Spark设置内存？
java、apache-spark
我的应用程序(Java)使用的内存比可用内存少。我觉得这条线很有用。从链接
箱/火花-
浏览 3提问于2015-11-19得票数 0
1回答
java.lang.UnsatisfiedLinkError: jep.Jep.init(Ljava/lang/ClassLoader;ZZ)
apache-spark、google-cloud-platform、google-cloud-dataproc、jep
这是我这边的反馈。虽然我是新来的，但我不想在不努力的情况下提问。我增加了jep作为依赖项。"black.ninia" % "jep" % "3.9.0"sudo -E pip install jep
export JEP_PATH=$(pipResultTask
浏览 4提问于2020-01-07得票数 4
回答已采纳
奇怪的是，它来来去去了好几次。我已经将SPARK_LOCAL_IP设置为正确的ip地址。对如何解决有什么想法吗？下面是命令行和spark-env.shSPARK_MASTER_IP=10.3.100.169
SPARK_PUBLIC_DNS=10
浏览 1提问于2015-12-15得票数 0
3回答
Spark独立集群调优
apache-spark、apache-spark-sql、apache-spark-2.0、apache-spark-standalone
我们在一个8核50 We内存的节点上运行spark 2.1.0独立集群(单工作进程)。我们使用以下内存设置在集群模式下运行spark应用程序---worker-memory = 43GB (all remaining cores - 7 cores)17&#
浏览 5提问于2017-12-15得票数 0
1回答
我在哪里创建火花配置文件和set.driver.memory到2gb？
apache-spark、pyspark
我有16 GB的内存。我在这个之后安装了apache，我能够运行和处理大量的数据。现在的挑战是导出csv中的结果数据帧。即使是100 K行的数据，我也会遇到各种各样的内存问题。相比之下，我能够处理总计数百万行的分区python文件。
基于大量的谷歌搜索，我相信问题在于我的spark.driver.memory。我需要改变这一点，但是由于我是在客户
浏览 15提问于2022-05-08得票数 1
回答已采纳
1回答
(Apache光束)无法增加执行器内存-尽管使用了多个设置，但内存仍固定在1024M
java、python、apache-spark、apache-beam
我用32 of的内存初始化了工作进程(从进程使用-c 2 -m 32G运行)。Spark submit将驱动内存设置为30g，将执行器内存设置为16g。主gui指示每个执行器的存储器是1024M。此外，我看到所有的java进程都是用-Xmx 1024m启动的。这意味着spark-submit不会将其executor设置传播给executor。更新:我将conf/spark-defaults.conf设置为 spark.driver.memory</em
浏览 32提问于2020-10-23得票数 2
1回答
Spark read.jdbc saveAsTable
apache-spark、apache-spark-sql
我在saveAsTable的时候出错了。_1kw")在发生4个相同的错误后，任务中止。
我使用spark-shell来测试代码。spark-shell --master spark://172.21.102.93:7077 --executor-memory 4g --driver</
浏览 0提问于2017-04-12得票数 0
2回答
如何修复NetworkWordCount Spark Streaming应用中的“"org.apache.spark.shuffle.FetchFailedException:连接失败”？
apache-spark、spark-streaming
--class org.apache.spark.examples.streaming.NetworkWordCount --deploy-mode cluster --master yarn --driver-memory2g --executor-memory 2g /opt/spark/examples/jars/spark-examples_2.11-2.0.0.jar 172.29.74.68 9999
作为参数，我输入master IP和loc
浏览 8提问于2016-09-01得票数 4
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储活动推荐
腾讯云开发者
