假设我的Spark集群有100G内存，在Spark计算过程中，会生成更多大小为200G的数据(新数据帧、缓存)。在这种情况下，Spark会将部分数据存储在磁盘上，还是只会使用OOM
浏览 235提问于2020-07-14得票数 0
回答已采纳
1回答
我正在尝试使用SAP Spark Controller在我们的SAP HANA数据库上从Cloudera的Quick Start Hadoop发行版(我们的Linux VM )中获取一些数据。每次我在HANA中触发作业时，它都会卡住，并且我看到SPARK Controller的日志文件中每隔10-15秒就会连续记录以下警告，除非我终止该作业。WARN org.apache.spark.scheduler.cluster.YarnScheduler: Initial jo
浏览 5提问于2019-05-19得票数 1
为了提高性能，我们需要一个Apache数据库的内存缓存。我最近对Apache做了一些研究，我们决定使用Ignite作为Spark的外部数据源，下面是我现在发现和困惑的地方：
在深入分析代码之后，我发现Spark将被转换为Ignite，然后将查询发送到每个我们的数据太大，无法全部加载到内存中，我们只能将其中一些数据加载到内存中，可能只加载一些小表，客户端将转向HDFS，如果查询没有到达缓存。我的问题是：作为
浏览 1提问于2021-02-19得票数 2
回答已采纳
此代码写入超出&checksumBuffer[writeIndex]指向的缓冲区末尾的内容int writeIndexchecksumBuffer[writeIndex],sizeof(checksumBuffer), "%02x", *checksum++);&checksumBuffer[writeIndex]的计算结果为snprintf()从&checksumBuff
浏览 25提问于2018-01-29得票数 0
回答已采纳
我认为在pyspark中，python代码运行在python进程中，这些进程不使用pyspark创建的JVM的内存堆。所以,
如果我使用pyspark提供的函数，我处理的是JVM内存堆( spark.executor.memory)If和spark.driver.memory，我使用python本机函数)，那么我处理python进程内存堆(spark.driver.memoryOv
浏览 1提问于2022-01-13得票数 0
4回答
据我所知，在win32中，每个程序都有4 4GB的虚拟内存。内存管理器负责将物理内存中的内存块卸载到磁盘上。这是否意味着只有当达到虚拟限制时，malloc或其他内存分配应用程序接口才会抛出OUT_OF_MEMORY异常？我的意思是，即使程序远远超出其虚拟大小限制，malloc也可能失败，例如，没有物理内存可以卸载到磁盘上。假设磁盘容量不受限制，且未设置任何特定限制。
浏览 0提问于2009-10-05得票数 3
回答已采纳
火花提交命令中使用的executor-cores和spark.executor.cores之间有什么区别吗？
由于GC开销内存错误，我的工作失败了，所以我试图增加内核和内存设置。我正在处理的总容量是两个文件中的50M记录。
浏览 2提问于2016-02-01得票数 0
回答已采纳
我需要流读取到非常大的文件(在TBs中)。为了达到更高的吞吐量，如果我们能够缓存文件部分在内存中。Spark可以在分布式内存中缓存数据。如何使用spark缓存文件部件？文件大于任何一台计算机的本地存储空间，也大于集群中内存总容量的总和。
浏览 1提问于2014-05-08得票数 1
回答已采纳
我创建ByteArrayOutputStream barr = new ByteArrayOutputStream(1);，即容量为1字节，并向其写入超过1字节的barr.write("123456789000000没有发生错误，我检查barr的长度它是15。为什么我的写作没有被阻止或包装？是否有一种方法可以防止编写超出容量的内容，而哪一种outputstream可用于此？我的可用内存非常有限，我不想写得比
浏览 5提问于2015-10-08得票数 2
回答已采纳
1回答
我理解，如果一个程序需要访问某些受保护的指令，它需要使用系统调用接口。IO设备访问可以是一个例子。产生一个中断，它将模式设置为内核模式等。据我所知，只有操作系统才有能力检查程序是否正在访问内存。为了能够进入操作系统，中断是必需的。这是否意味着数组和变量<
浏览 5提问于2020-12-12得票数 0
回答已采纳
1回答
在阅读了这些文档之后，我不明白Spark在Spark上运行是如何导致Python内存消耗的。它算在spark.executor.memory，spark.executor.memoryOverhead还是在哪里？特别是，我有一个带有PySpark的spark.executor.memory=25G应用程序，spark.executor.cores=4和我经常遇到容器因为超出内存限制
浏览 5提问于2016-10-05得票数 27
回答已采纳
4回答
如果插入超出其容量的向量，则向量将重新分配。在向量中有另一个可调整大小的类型的情况下，该向量是否仅包含指向该类型的指针？
特别是，我想知道如果向量包含任意类型，内存是如何分配的。
浏览 2提问于2017-02-18得票数 1
回答已采纳
2回答
.set("spark.executor.memory", "10g") .set("spark.driver.memory", "5g")
浏览 0提问于2018-02-06得票数 11
回答已采纳
1回答
如何处理超出内存容量的单元阵列？
、、、、
在将总计35 GB的计量数据(GRIB文件)读取到matlab单元阵列中时，我遇到了内存不足(RAM)的问题。%加载grib文件 waitbar(ii/number_files,h);
file_name = [fname
浏览 1提问于2015-06-06得票数 0
1回答
例如，我有点困惑于spark是如何从s3读取数据的。假设要从s3读取100 GB的数据，而spark集群的总内存为30 GB。spark是否会在触发操作后读取所有100 GB的数据，并将最大数量的分区存储在内存中，并将剩余的分区溢出到磁盘?还是只读取可以存储在内存中的分区，对其进行处理，然后读取其余数据？任何到
浏览 2提问于2021-09-19得票数 2
1回答
我的SPARK项目(用Java编写)需要跨执行器访问(选择查询结果)不同的表。然而，我发现
表非常大，因此创建大容量的Map并将其作为广播变量传递给执行者听起来并不有效。相反，我们是否可以使用可跨执行程序共享的load 加载内存中的表？是void org.apache.spark.sql.Dataset.createOrReplaceTemp
浏览 0提问于2018-12-18得票数 0
回答已采纳
下面是我的集群容量:最小资源:内存:2400000，vCores:375，磁盘:32.0最大资源:内存:4800000，vCores:800，磁盘:64.0spark = SparkSession.builder.master("yarn")\ .config("
浏览 0提问于2017-11-08得票数 0
2回答
当我在yarn集群上运行spark作业时，应用程序在队列中运行。那么，如何在多个应用程序中并行运行呢？
浏览 0提问于2018-08-31得票数 0
1回答
在火花流中，我面临一个非常奇怪的问题。我使用的是spark 2.0.2，节点数3，执行器数目3 {1接收器和2处理器}，每个执行器2GB内存，每个执行器1内核。批处理间隔为10秒。我的批号大约是。我的批次的处理时间从最初的2秒逐渐增加到了几分钟，但在最初的40-50个小时内，它运行得相当好。在此之后，调度延迟和处理时间开始激增。
我试着看了一下GC，驱动程序<em
浏览 3提问于2017-02-14得票数 2
回答已采纳
云服务器
ICP备案
实时音视频
即时通信 IM
云直播
腾讯云开发者
