开发者社区

文档建议反馈控制台

文章/答案/技术大牛

发布

社区首页 >问答首页 >使用Spark配置Java堆大小

问使用Spark配置Java堆大小
EN

Stack Overflow用户

提问于 2016-12-12 18:20:41

回答 1查看 3.7K关注 0票数 2

当我配置Yarn时，有一个用于分配内存的JAVA_HEAP_MAX环境变量。当我实例化一个Spark worker时，spark.executor.memory会覆盖这个值吗？我有什么理由需要通过-Xmx手动设置Java heap，或者Spark conf会处理这个问题吗？

从本质上讲，我需要将初始java堆内存分配设置为大于分配给Spark的内存，还是默认情况下进行管理--以及通过spark之外的环境变量修改JVM的用例是什么？

EN

回答 1

Stack Overflow用户

发布于 2017-02-11 00:16:46

我在提交作业的时候从来没有做过-Xmx。我总是使用spark.executor.memory和driver.memory。我想它会覆盖的。使用https://spark.apache.org/docs/latest/configuration.html#compression-and-serialization进行一些附加配置/调优

喜欢

spark.memory.fraction

票数 0

EN

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/41107096

复制

相关文章

java程序查看堆大小

JVM heap 和Metaspace元空间 demo

名字是乱打的

2022/05/13

1.9K0

优化Java堆大小的5个技巧

缓存 jvm java

本文作者Pierre是一名有10多年经验的高级系统架构师，他的主要专业领域是Java EE、中间件和JVM技术。根据他多年的工作实践经验，他发现许多性能问题都是由Java堆容量不足和调优引起的。下面他将和大家分享非常实用的5个Java堆优化技巧。

lyb-geek

2022/03/10

6520

JVM堆大小的建议

缓存 jvm 企业 java

JVM的堆大小设置是一趟很深的水，既要有对架构高度认识和落地，也要有对语言内部机制深入理解和掌握。首先，需要对JVM的Heap大小有一个预设和监测，见这篇文章选择合适Java堆大小的五个建议(5 Tips for Proper Java Heap Size) https://dzone.com/articles/5-tips-proper-java-heap-size 其实文中主要普及了一些JVM设置基础知识，强调需要了解的几个知识点和一般经验，也没有给出实战中具体可行的操作办法，其实每个系统是不一样

lyb-geek

2022/03/10

7030

Apache Spark 内存管理(堆内/堆外)详解

文件存储存储 jvm 缓存 spark

本文旨在梳理出Spark内存管理的脉络，抛砖引玉，引出读者对这个话题的深入探讨。本文中阐述的原理基于Spark 2.1版本，阅读本文需要读者有一定的Spark和Java基础，了解RDD、Shuffle、JVM等相关概念。

大数据真好玩

2021/09/18

1.3K0

Apache Spark 内存管理(堆内/堆外)详解

Apache Spark 内存管理(堆内/堆外)详解

spark 文件存储存储 jvm 缓存

本文旨在梳理出Spark内存管理的脉络，抛砖引玉，引出读者对这个话题的深入探讨。本文中阐述的原理基于Spark 2.1版本，阅读本文需要读者有一定的Spark和Java基础，了解RDD、Shuffle、JVM等相关概念。

Spark学习技巧

2022/01/13

1.7K0

Apache Spark 内存管理(堆内/堆外)详解

IntelliJ IDEA配置Spark使用

第二步下载插件首先启动intelliJ IDEA:在命令行终端中，进入$IDEA_HOME/bin目录，输入./idea.sh进行启动,进入如下界面，然后选择右下角“plugins”

bear_fish

2018/09/19

1.8K0

IntelliJ IDEA配置Spark使用

java 编程算法

Java 堆是被所有线程共享的一块内存区域，在虚拟机启动时创建。这个区域是用来存放对象实例的，几乎所有对象实例都会在这里分配内存。平常我们听说的垃圾收集、GC等名词都是由堆发展而来的

Java学习录

2019/05/14

8630

[源码剖析]Spark读取配置Spark读取配置

我们知道，有一些配置可以在多个地方配置。以配置executor的memory为例，有以下三种方式：

codingforfun

2018/08/24

1.6K0

[源码剖析]Spark读取配置Spark读取配置

Java直接（堆外）内存使用详解

本篇主要讲解如何使用直接内存（堆外内存），并按照下面的步骤进行说明：相关背景-->读写操作-->关键属性-->读写实践-->扩展-->参考说明希望对想使用直接内存的朋友，提供点快捷的参考。数据类型下面这些，都是在使用DirectBuffer中必备的一些常识，暂作了解吧！如果想要深入理解，可以看看下面参考的那些博客。基本类型长度在Java中有很多的基本类型，比如： byte，一个字节是8位bit，也就是1B short，16位bit，也就是2B int，32位bit，也就是4B long, 64位

用户1154259

2018/01/17

1.4K0

Java直接（堆外）内存使用详解

【JAVA】如何监控和诊断JVM堆内和堆外内存使用？

java jvm 对象监控内存

在上一篇博文：【JAVA】JVM 内存区域的划分中介绍了 JVM 内存区域的划分，总结了相关的一些概念，本博文将结合 JVM 参数、工具等方面，进一步分析 JVM 内存结构，包括外部资料相对较少的堆外部分。

sidiot

2023/08/31

2.2K0

【JAVA】如何监控和诊断JVM堆内和堆外内存使用？

有哪些方式查看java进程的堆内存配置？

java 工具进程内存配置

jstat是Java JDK自带的一个实用工具，它可以用于监控JVM堆内存使用情况。首先，你需要找到Java进程的进程ID（PID），然后使用jstat -gc <PID>命令查看堆内存配置。

运维开发王义杰

2023/08/21

2.3K0

有哪些方式查看java进程的堆内存配置？

全网最硬核 JVM 内存解析 - 4.Java 堆内存大小的确认

java jvm 内存压缩指针

不同的 GC 情况下，初始化以及扩展的流程可能在某些细节不太一样，但是，大体的思路都是：

干货满满张哈希

2023/05/01

1.2K0

全网最硬核 JVM 内存解析 - 4.Java 堆内存大小的确认

【Spark篇】---SparkSQL on Hive的配置和使用

spark sql hive xml zookeeper

Spark on Hive： Hive只作为储存角色，Spark负责sql解析优化，执行。

LhWorld哥陪你聊算法

2018/09/13

4.6K0

【Spark篇】---SparkSQL on Hive的配置和使用

Java 堆内内存与堆外内存

java 文件存储数据结构

一般情况下，Java 中分配的非空对象都是由 Java 虚拟机的垃圾收集器管理的，也称为堆内内存（on-heap memory）。虚拟机会定期对垃圾内存进行回收，在某些特定的时间点，它会进行一次彻底的回收（full gc）。彻底回收时，垃圾收集器会对所有分配的堆内内存进行完整的扫描，这意味着一个重要的事实——这样一次垃圾收集对 Java 应用造成的影响，跟堆的大小是成正比的。过大的堆会影响 Java 应用的性能。

smartsi

2019/08/07

4.4K0

Spark SSH配置

ssh spark linux

127.0.0.1 localhost.localdomain localhost ::1 localhost6.localdomain6 localhost6

星哥玩云

2022/07/04

4880

java堆内存详解

参考文献： http://www.importnew.com/14630.html Java 堆内存 http://blog.csdn.net/ylyg050518/article/details/52244994 Java虚拟机(二)——Java堆内存划分

用户7798898

2020/09/27

5510

Java基础(八) 堆

二叉树编程算法数据结构存储

优先队列是计算机科学中的一类抽象数据类型。优先队列中的每个元素都有各自的优先级，优先级最高的元素最先得到服务；优先级相同的元素按照其在优先队列中的顺序得到服务。

宇宙无敌暴龙战士之心悦大王

2022/01/10

4680

Java 堆内存简介

java 对象内存线程虚拟机

Java 堆是虚拟机管理的最大的一块内存。是被所有线程所共享的一块内存区域，在虚拟机启动时创建。

潇洒

2023/10/20

1400

Java堆内存设置

jdk jvm linux 海外加速

Java 虚拟机具有一个堆，堆是运行时数据区域，所有类实例和数组的内存均从此处分配。堆是在 Java 虚拟机启动时创建的。

码客说

2020/05/09

3.2K0

Spark本地调试的使用Hive配置文件

在本地调试的时候发现把Hive的hive-site.xml放到项目的resources目录下，就可以让Spark读取hive-site.xml中的Hive的配置信息了。并且相关的HSQL可以直接执行在这个Hive之上，不会另外去生成metastore_db文件夹。

ZHANGHAO

2018/12/05

2.4K0

Spark本地调试的使用Hive配置文件

相似问题

使用Spark配置Java堆空间

11

Spark Java堆错误

12

如何配置Java Spark sparksession示例大小

18

如何找出配置的最大java堆大小？

16

为java 8 VM配置初始堆大小

10

添加站长进交流群

领取专属 10元无门槛券

AI混元助手 在线答疑

关注 腾讯云开发者公众号

洞察 腾讯核心技术

剖析业界实践案例