SPARK SQL java.lang.OutOfMemoryError:超出GC开销限制
SPARK SQL是一种用于处理结构化数据的Apache Spark模块。它提供了一种编程界面，可以在分布式环境下进行SQL查询和数据分析。这个模块基于Spark的强大计算能力和内存管理功能，可以在大规模数据集上快速进行高效的查询和分析。
对于出现"java.lang.OutOfMemoryError:超出GC开销限制"的错误，它是Java虚拟机（JVM）在内存资源不足时抛出的异常。这可能是由于Spark SQL处理的数据量过大，导致内存不足，从而无法执行所需的操作。
解决这个问题的一种方法是增加可用内存。可以通过以下方式来实现：
- 调整Spark应用程序的内存分配：可以通过调整Spark应用程序的内存分配参数，如executor内存、driver内存等，来提高可用内存。具体的参数配置取决于你使用的Spark版本和具体的应用场景。
- 增加集群的总体内存：如果集群的总体内存不足，可以考虑增加集群的规模或者升级集群的硬件配置，以提供更多的可用内存。
- 优化Spark SQL查询：通过对查询进行优化，可以减少内存的使用量。例如，可以使用分区、过滤条件和投影等技术来减少需要加载到内存的数据量。
在腾讯云上，可以使用TencentDB for TDSQL 或者 TencentDB for PostgreSQL作为Spark SQL的数据存储和查询引擎。这些产品提供了可靠的数据存储和高性能的查询能力，可以满足大规模数据处理的需求。
希望这些信息对你有帮助！如需了解更多关于腾讯云相关产品和解决方案，可以访问腾讯云官方网站：https://cloud.tencent.com/
相关·内容
这个GC开销限制错误让我发疯了。我有20个执行者使用25 GB，我完全不明白它怎么能抛出GC开销，我也不是那个大数据集。一旦这个GC错误发生在执行器中，它就会丢失，其他执行程序也会慢慢丢失，因为IOException、Rpc客户端断开、洗牌找不到等等。
我是星火的新手。
WARN scheduler.TaskSetManager: Lost task 7.0 in stage 363.0 (TID 3373, myhost.com): java.lang.OutOfMemoryError: GC overhead limit exceeded
at org.apache
浏览 0提问于2015-08-18得票数 1
回答已采纳
即使在sts配置文件中设置了-Xms1024m，-Xmx4096m，-XX:-UseGCOverheadLimit之后，我仍然在获取Spring中的java.lang.OutOfMemoryError: GC overhead limit exceeded，任何人都能告诉我如何修复这个错误吗？
浏览 0提问于2016-12-16得票数 0
这是我的java代码，我在其中使用Apache spark sql从Hive查询数据。
JavaSparkContext ctx = new JavaSparkContext(new SparkConf().setAppName("LoadData").setMaster("MasterUrl"));
HiveContext sqlContext = new HiveContext(ctx.sc());
List<Row> result = sqlContext.sql("Select * from Tablename").colle
浏览 2提问于2015-08-07得票数 4
我们试图将我们的应用程序从OC4J迁移到Tomcat7.0。该应用程序在OC4J上运行得很好，但在tomcat中，当运行10个用户的负载测试时，性能会受到影响。我们得到这些错误，应用程序不再响应。
---java.lang.OutOfMemoryError: GC overhead limit exceeded
Exception in thread "ajp-bio-8009-exec-231" java.lang.OutOfMemoryError: GC overhead limit exceeded
Exception in thread "Containe
浏览 0提问于2015-01-21得票数 4
回答已采纳
1回答
我正在运行的hadoop程序中有一个明显的内存泄漏。具体地说，我得到这样的消息: ERROR GC开销限制超出，随后出现异常
attempt_201210041336_0765_m_0000000_1: Exception in thread "Tread for syncLogs" java.lang.OutOfMemoryError: GC overhead limit exceeded
attempt_201210041336_0765_m_0000000_1: at java.util.Vector.elements (Vector.java:292)
attempt_
浏览 0提问于2012-11-30得票数 1
回答已采纳
我有一个宏启用格式的Excel文件。在这个excel中，有2-3个相关的下拉列表。我已经编写了宏代码来停止对特定列的删除。
我使用下面的代码上传此excel。
XSSFWorkbook workbook = new XSSFWorkbook(new
FileInputStream(fileName));
XSSFSheet sheet = workbook.getSheetAt(1);
XSSFRow row;
XSSFCell cell;
int rows = she
浏览 4提问于2017-07-24得票数 0
2回答
我有一个火花独立设置(v1.4.1)与3个工人。
我有一个应用程序从一个Kafka主题读取一个流，详细数据并将其存储在另一个Kafka主题中。
昨晚申请失败了，所有的工人都被打倒了。
工人的日志报告如下：
16/02/04 21:02:10 INFO ExecutorRunner: Launch command: "/opt/jdk1.8.0_45/bin/java" "-cp" "/dati/spark-1.4.1-bin-hadoop2.4/sbin/../conf/:/dati/spark-1.4.1-bin-hadoop2.4/lib/spark
浏览 3提问于2016-02-05得票数 0
回答已采纳
Quartz调度程序抛出java.lang.OutOfMemoryError: GC overhead limit exceeded
Caused by: java.lang.OutOfMemoryError: GC overhead limit exceeded
at com.mysql.jdbc.SingleByteCharsetConverter.toString(SingleByteCharsetConverter.java:327)
at com.mysql.jdbc.ResultSetRow.getString(ResultSetRow.java:819)
浏览 11提问于2014-07-21得票数 0
和
除非JVM首先尝试一个完整的垃圾收集，包括删除软引用/弱引用对象，否则永远不会抛出OutOfMemoryError。
至于这段代码，
//.. allocate reserved memory
try {
//.. calculation which requires alot of memory even after optimized
} catch (java.lang.OutOfMemoryError e){
System.gc();
//.. hedge recovery
}
对System.gc()的调用是多余的吗？
是否已经保证了JVM(根据
浏览 3提问于2012-01-06得票数 3
回答已采纳
我在本地使用Graphhopper来获取两个纬度/经度之间的行驶方向。一切都很好，当我只加载了一个国家的数据时，我在不到100ms的时间内就得到了结果。现在我已经将数据集加载到Asia，但结果变得太慢(在某些情况下超过10秒)。现在，对于一些路由，我得到了这个错误：
ERROR com.graphhopper.http.GHErrorHandler - GC overhead limit exceeded,
java.lang.OutOfMemoryError: GC overhead limit exceeded
我的目标是加载所有的世界数据，并在不到1秒的
浏览 4提问于2016-07-12得票数 0
1回答
Spark SQL是这样的：
INSERT INTO new
SELECT
~~~
FROM A, B
WHERE
~~~ (complex join)
A和new的模式是相同的，B有一些用于过滤的模式。并且B的大小很小，被广播。
但是它在我的本地测试中显示了OOM错误。
Caused by: java.lang.OutOfMemoryError: GC overhead limit exceeded
at org.apache.spark.sql.catalyst.expressions.UnsafeRow.copy(UnsafeRow.java:535)
at org.apache.spa
浏览 0提问于2016-09-12得票数 0
2回答
我正在尝试读取mapper中的多行。为此，我开始使用NLineInputFormat类。在使用它的时候，我得到了GC限制错误。作为参考，错误码为：
16/02/21 01:37:13 INFO mapreduce.Job: map 0% reduce 0%
16/02/21 01:37:38 WARN mapred.LocalJobRunner: job_local726191039_0001
java.lang.OutOfMemoryError: GC overhead limit exceeded
at java.util.concurrent.ConcurrentHashMap.put
浏览 1提问于2016-02-21得票数 2
1回答
我有这样的用法
java -Xmx1G -jar file.jar，但当我运行它时，我得到的错误如下：
Exception in thread "Thread-11" java.lang.OutOfMemoryError: GC overhead limit exceeded
如何解决这个问题？
我已更改为java -Xmx2G -jar file.jar。
这里是我的线程组大小
public class QueueConst {
public static int Size_Worker = 300000;
public static int DELAYED_
浏览 3提问于2020-12-03得票数 0
我在使用spark_apply的Spark中遇到了GC开销超过限制错误。以下是我的规格：
sparklyr v0.6.2 Spark v2.1.0 4个工作进程，具有8个内核和29G内存
closure get_dates一次从Cassandra拉取一行数据。总共大约有200k行。这个过程运行了大约一个半小时，然后出现了这个内存错误。
我已经用spark.driver.memory做了实验，它应该会增加堆的大小，但它不起作用。
有什么想法吗？下面的用法
> config <- spark_config()
> config$spark.executor.cores = 1 #
浏览 3提问于2018-03-10得票数 1
我正在尝试使用spark将数据从greenplum读取到HDFS中。为此，我使用jar文件：greenplum-spark_2.11-1.6.0.jar
按如下方式应用spark.read：
val yearDF = spark.read.format("io.pivotal.greenplum.spark.GreenplumRelationProvider").option("url", "jdbc:postgresql://1.2.3.166:5432/finance?ssl=true&sslfactory=org.postgresql.ss
浏览 1提问于2019-03-06得票数 1
我有一个弹簧引导(1.5.8.RELEASE)应用程序运行在5GB内存。当我使用一些返回大量数据的请求访问API时，它会抛出
> Apr 30, 2020 2:01:34 PM org.apache.catalina.core.StandardWrapperValve invoke
SEVERE: Servlet.service() for servlet [dispatcherServlet] in context with path [] threw exception [Handler dispatch failed; nested exception is java.lang.O
浏览 1提问于2020-05-03得票数 1
我的工作是电火花客户端mode.System配置是32 Gb内存和32 cores.My驱动内存是2048和执行器内存是2048。下面是我的火花配置。
spark = SparkSession.builder \
.appName(appName) \
.master(master) \
.config("hive.metastore.uris", "thrift://localhost:9083") \
.config("spark.serializer", "org.apache.spark.serializer.KryoSeria
浏览 7提问于2019-10-15得票数 0
火花群(火花2.2)是使用约30人通过火花壳和表(10.4)。每天都有一次，因为jvm需要收集很多垃圾，所以服务器会被杀死或结冰。以下是我可以在thriftserver日志文件中找到的错误消息：
ERROR SparkExecuteStatementOperation: Error executing query, currentState RUNNING, java.lang.OutOfMemoryError: GC overhead limit exceeded
ERROR SparkExecuteStatementOperation: Error executing query, cu
浏览 8提问于2017-10-27得票数 1
回答已采纳
火花任务崩溃与"java.lang.OutOfMemoryError: GC开销限制超过“。jmap -histo给出：
num #instances #bytes class name
----------------------------------------------
1: 112049437 3585581984 org.apache.spark.sql.execution.ui.SQLTaskMetrics
2: 119124871 2858996904 java.lang.Long
3:
浏览 1提问于2015-10-29得票数 0
运行CDH 5.14.4集群和Spark 2.3 Release 4 CDS。当从Spark应用程序(客户端模式)提交一个相当大的spark SQL作业时，在少数执行器上遇到一些java.lang.OutOfMemoryError错误。这个错误与底层的数据量无关，因为我能够在100或100万条记录中看到这个错误。SQL相当庞大，因为它执行大量复杂的条件语句和表达式。 但是，当我在本地模式下运行应用程序时，而不是以yarn作为主模式，执行过程很顺利。 请立即向这里的社区寻求帮助。 #
# java.lang.OutOfMemoryError: GC overhead limit exceede
浏览 108提问于2019-02-08得票数 0
我有一个非常复杂的遗留代码。
执行它时，会生成java.lang.OutOfMemoryError : GC overhead limit exceeded。
什么才是正确的方法来确定这一问题的根源？
代码非常复杂(多个哈希映射、字符串操作等)
浏览 3提问于2015-05-07得票数 3
我在postgres上有一些数据，并试图读取spark dataframe上的数据，但我得到了错误java.lang.OutOfMemoryError: GC overhead limit exceeded。我使用的是内存为8 8GB的PySpark。
下面是代码
import findspark
findspark.init()
from pyspark import SparkContext, SQLContext
sc = SparkContext()
sql_context = SQLContext(sc)
temp_df = sql_context.read.format('
浏览 0提问于2018-11-13得票数 2
2回答
我在spark(scala)中广播了一个变量，但由于数据的大小，它给出的输出如下所示
WARN TaskSetManager: Lost task 2.0 in stage 0.0 (TID 2, 10.240.0.33): java.lang.OutOfMemoryError: GC overhead limit exceeded
at java.lang.StringCoding$StringDecoder.decode(StringCoding.java:149)
当在较小的数据库上运行时，它工作得很好。我想知道这个广播变量的大小( mb/gb)。有没有办法找到这个？
浏览 1提问于2016-12-27得票数 2
我正在尝试使用Struts2来部署一个web应用程序，它从两个Excel表格中读取大约40mb文件中的数据并更新它，我正在将它部署到Jboss-5中，但是我得到了java.lang.OutOfMemoryError: GC overhead limit exceeded错误。
当我通过Netbeans运行我的简单Java应用程序时，使用相同的脚本；最初我遇到了同样的问题，但我通过将-Xmx值增加到2g来增加Java堆内存，然后脚本运行得很好。
我也尝试在Jboss中增加-Xmx的值，但有些人又抛出了java.lang.OutOfMemoryError: GC overhead limit ex
浏览 3提问于2014-06-11得票数 1
0回答
我正在运行下面的spark代码，每次它都会耗尽内存。数据不是很大，但是超时了，它会报告GC错误，所以garbage collector要收集的对象太多了。从表中选择较少的列和数据不应包含太多开销，也不应在堆上创建太多对象。我是否通过触发select查询创建了太多不可变对象。不确定为什么它会抱怨GC错误。
object O {
def main(args: Array[String]): Unit = {
val log = LogManager.getRootLogger
val TGTTBL = "XYZ"
val outputLocation = &
浏览 1提问于2017-06-14得票数 0
java.lang.OutOfMemoryError: Java堆空间意味着当应用程序只需要比它可用的更多的Java堆空间来正常运行时，消息就意味着。
What java.lang.OutOfMemoryError: GC开销限制超出了，这意味着由于某种原因，垃圾收集器占用了过多的时间(默认情况下是进程的所有CPU时间的98% )，并且每次运行时恢复的内存非常少(默认为堆的2% )。这在内部也意味着，当应用程序只需要比它可用的更多Java堆空间才能正常运行时。
那么，我的问题是，在上述两种情况中，哪一种情况会被触发？
，下面是我的理解，当一个特定的异常将根据场景抛出时：-
假设我已经分配了1
浏览 3提问于2015-12-17得票数 8
我得到了一个问题在推土机地图。我有最多5个层次的嵌套列表来映射应该创建100个对象的列表。这种情况发生在具有不同数据集的多个不同调用中。
org.dozer.util.MappingUtils.throwMappingException(MappingUtils.java:82)超过org.dozer.MappingException: java.lang.OutOfMemoryError: GC开销限制
浏览 3提问于2017-01-19得票数 0
我正在运行一个Spark应用程序，该应用程序将数据库中的100万行数据加载到201个分区中，然后将其写入到parquet文件中。应用程序代码可能如下所示：
dataframe = spark.read.format('jdbc').options(...).load()
dataframe_over_range = dataframe.filter("date >= '2017-01-01 00:00:00'")
if dataframe_over_range.head(1):
for date in dates: # dates
浏览 2提问于2022-08-17得票数 0
回答已采纳
我的SpringBoot应用程序与java.lang.OutOfMemoryError: GC overhead limit exceeded有问题。
我可以看到如下日志：
Handler dispatch failed; nested exception is java.lang.OutOfMemoryError: GC overhead limit exceeded.
此外，当我在应用程序中工作时，cpu非常高(99%)。我认为它是与XMX相结合的。那么，如何检查这个应用程序的xmx大小集呢？或者是别的什么问题？提前感谢！
浏览 2提问于2020-03-25得票数 0
回答已采纳
我有一个五百万行250列的spark数据帧。当我使用"spark.sql.execution.arrow.enabled"作为"true"对这个数据帧进行topandas()转换时，它返回一个只包含列的空数据帧。
在禁用pyarrow的情况下，出现以下错误
Py4JJavaError: An error occurred while calling o124.collectToPython. : java.lang.OutOfMemoryError: GC overhead limit exceeded
有没有办法通过增加某种类型的内存分配来执行此操作？
我找不
浏览 0提问于2020-10-22得票数 0
我正在使用spark连接我从azure存储中获取的静态数据集和从eventhub中获取的流数据集。我还没有在任何地方使用过广播连接。在连接之后，我尝试了df.explain()，它显示排序合并连接正在发生。我不确定为什么我会收到与广播Hash join相关的错误。 java.lang.OutOfMemoryError: Not enough memory to build and broadcast the table to all worker nodes. As a workaround, you can either disable broadcast by setting spark
浏览 132提问于2019-12-23得票数 0
我对在Spark-1.5.2中配置执行器和驱动程序内存感到困惑。
我的环境设置如下：
3 Node MAPR Cluster - Each Node: Memory 256G, 16 CPU
Hadoop 2.7.0
Spark 1.5.2 - Spark-on-Yarn
输入数据信息：
460 GB拼图格式表我正在使用spark-sql来查询spark-on-yarn的Hive上下文，但它比Hive慢得多，而且不确定Spark的正确内存配置。
这些是我的配置，
export SPARK_DAEMON_MEMORY=1g
export SPARK_WORKER_MEMORY
浏览 12提问于2017-07-12得票数 0
回答已采纳
1回答
调整纱线中的火花作业
、、、
由于java.lang.OutOfMemoryError: Java堆空间，我的火花作业失败了。我试着玩配置参数，如executor-cores，executor-memory，num-executors，driver-cores，driver-memory，spark.yarn.driver.memoryOverhead，spark.yarn.executor.memoryOverhead，根据。下面是我的配置集
--master yarn-cluster --executor-cores 4 --executor-memory 10G --num-executors 30 --driver
浏览 0提问于2018-05-04得票数 0
回答已采纳
我正在使用连接到AWS实例(r5d.xlarge 4 vCPU 32 GiB)的pyspark，运行一个25 GB的数据库，当我运行一些表时，我得到了错误：
Py4JJavaError:调用o57.showString时出错。用法: org.apache.spark.SparkException:由于阶段失败而中止作业:阶段0.0中的任务0失败1次，最近一次失败:丢失阶段0.0中的任务0.0 (TID 0，localhost，执行器驱动程序)：java.lang.OutOfMemoryError:超出GC开销限制
我试图自己找出错误，但不幸的是，关于这个问题的信息并不多。
代码
from p
浏览 337提问于2019-06-12得票数 0
回答已采纳
我正在Azure DBR7.3LTS，SMAR3.0.1，Scala2.12上运行以下代码，这些代码位于Standard_E4as_v4 (32.0 GB内存，4核，1 DBU)和驱动程序(56.0GB内存，16核，3 DBU)的集群上
目的是处理5.5TB的数据
我面临以下例外："org.apache.spark.SparkException:由于阶段失败而中止的作业: 57071个任务中的1163个任务(4.0 GiB)的序列化结果的总大小大于spark.driver.maxResultSize 4.0 GiB“，在6.1min内，有148.4 GiB正在处理数据。
我不收集或传输
浏览 3提问于2020-11-02得票数 0
回答已采纳
我遇到了一些关于内存问题的问题，但我无法解决它。任何帮助都是非常感谢的。我是Spark和pyspark功能的新手，正在尝试读取一个大小约为5 5GB的JSON文件，并使用以下命令构建rdd
df = spark.read.json("example.json")
每次运行上面的语句时，我都会得到以下错误：
java.lang.OutOfMemoryError : Java heap space
我需要以RDD的形式获取JSON数据，然后使用SQL Spark进行操作和分析。但我在第一步(读取JSON)本身就遇到了错误。我知道，要读取如此大的文件，需要对Spark会话的配置进行必
浏览 0提问于2018-05-23得票数 1
在我的代码经过140次迭代之后，我在独立星火集群中得到了以下内存错误。如何在没有内存错误的情况下运行代码？
我有7个具有8GB RAM的节点，其中6GB分配给所有工作人员。主程序也有8GB的RAM。
[error] application - Remote calculator (Actor[akka.tcp://Remote@127.0.0.1:44545/remote/akka.tcp/NotebookServer@127.0.0.1:50778/user/$c/$a#872469007]) has been terminated !!!!!
[info] application - Vi
浏览 3提问于2016-02-08得票数 0
我有5个模式，每个模式有8个cpu核和30GB内存，我有5GB的dataset1和65 5GB的dataset2，所以我需要加入它们并保存到s3文件系统中，我设置了以下参数:
--num-executors 4 --spark.driver.memory 8g --executor-cores 5 --executor-memory 27g --conf spark.yarn.executor.memoryOverhead=824m
但是，我到处搜索，尝试不同的参数，但我仍然在摆脱记忆错误。超过Gc开销限制。
在Java代码中也使用了这种方法：
conf.set("spark.ser
浏览 1提问于2016-11-30得票数 0
我正在开发一个机器学习应用程序(使用py魅力)，一切都很好。
但是，当我决定更改'HandlInvalid‘参数时，spark会抛出这个java堆错误。
Exception in thread "dispatcher-event-loop-1" java.lang.OutOfMemoryError: Java heap space
.....
.....
ERROR Utils: Uncaught exception in thread driver-heartbeater
java.lang.OutOfMemoryError: Java heap space
....
浏览 6提问于2020-04-20得票数 0
1回答
在我的应用程序中，我比较了两个不同的数据集(即来自Hive的源表和RDBMS的目标)的重复和错误匹配，它在较小的数据集中工作得很好，但是当我尝试比较1GB以上的数据时，它挂起并抛出TIMEOUT ERROR时，即使在增加了抛出java.lang.OutOfMemoryError: GC overhead limit exceeded的网络超时之后，我还是尝试了使用.config("spark.network.timeout", "600s")。
val spark = SparkSession.builder().master("local")
浏览 9提问于2017-07-11得票数 3
回答已采纳
1回答
我正尝试在spark dataframe中加载一个100 gb的json文件，并在其上创建一个临时视图。然后我用query查询这个视图中的数据。
select * from <table_view> limit 1;
但是查询并没有完成，而是给出了错误Caused by : java.lang.OutOfMemoryError: GC Overhead limit exceeded. I‘m But my code in databricks cluster。以下是我的集群详细信息：
Cluster Mode : standard
Databricks runtime Versio
浏览 0提问于2020-03-31得票数 1
如何在spark scala流应用程序中清理JVM占用的内存。我正在运行60秒时间间隔的流式作业。在我的前六个小时，没有问题，在那之后，我面对的是JVM堆内存问题。有没有办法在spark scala中以编程方式清理我的GC或JVM内存？
在我的应用程序中，我使用了Dataframe，registertemptable也结束了我的程序，我将结果写入到HDFS中。目前在我的应用程序spark SQL上下文级，我正在取消缓存，像这样我们有没有其他方法可以释放内存？
错误消息:异常在线程"dag-scheduler-event-loop“java.lang.outofmemoryError:
浏览 1提问于2017-09-16得票数 2
我想在Android中使用来自koush的离子Lib。但是，在同步gradle文件中的库并尝试运行应用程序之后，会出现一个奇怪的错误。
我的想法是，Ion不接受我的gradle文件中的其他库。
Gradle tasks [:app:assembleDebug]
:app:preBuild UP-TO-DATE
:app:preDebugBuild UP-TO-DATE
:app:checkDebugManifest
:app:preReleaseBuild UP-TO-DATE
:app:prepareComAndroidSupportAppcompatV72311Library UP-TO-
浏览 6提问于2016-06-24得票数 0
回答已采纳
我需要在我的CentOS服务器中禁用GC开销限制。这样做的原因是为了暂时防止java.lang.OutOfMemoryError: GC overhead limit exceeded异常。
但是我对Linux + Java系统一无所知，对如何运行这个命令行一无所知：-XX:-UseGCOverheadLimit
浏览 0提问于2013-09-21得票数 4
回答已采纳
如何修复GC overhead limit exceeded版本2.2.1中发生的PySpark。安装在Ubuntu 16.04.4上。
在Python3.5.2脚本中，我设置为：
spark = SparkSession.builder.appName('achats_fusion_files').getOrCreate()
浏览 0提问于2018-03-14得票数 4
回答已采纳
我对我尝试使用的大数据技术非常陌生，但到目前为止，我已经成功地在RStudio中设置了sparklyr，以连接到一个独立的Spark集群。数据存储在Cassandra中，我可以成功地将大型数据集引入火花存储器(缓存)，以便对其进行进一步的分析。
然而，最近我在将一个特别大的数据集引入Spark内存方面遇到了很多困难，尽管集群应该有足够的资源(60核，200 to )来处理其大小的数据集。
我认为，通过将缓存的数据限制在几个感兴趣的列上，我可以克服这个问题(使用我上一次查询中的答案代码)，但它没有。发生的情况是，我的本地机器坡道上的jar进程接管了所有本地RAM和CPU资源，整个进程冻结了，集群
浏览 0提问于2017-03-06得票数 7
回答已采纳
1回答
我使用了Spark2.1.1，并升级到了最新的2.4.4版本。我从Spark中观察到，驱动程序内存是不断增加的，在长时间运行之后，我遇到了以下错误：java.lang.OutOfMemoryError: GC开销限制超过
在Spark2.1.1中，驱动程序内存消耗(存储内存选项卡)非常低，在运行ContextCleaner和BlockManager之后，内存正在减少。
此外，我还测试了Spark版本2.3.3、2.4.3，并且我也有相同的行为。
如何再现此行为：
创建一个非常简单的应用程序(流式count_file.py)来再现这种行为。此应用程序从目录中读取CSV文件，计数行数，然后删除处理
浏览 1提问于2019-09-13得票数 4
回答已采纳
2回答
三叉树拓扑抛出内存不足异常
、、、、
我正在从Storm的传统拓扑转换到三叉树拓扑，它在将元组推送到数据库之前维护成批的元组。我们将XML作为一个元组来处理。在一次处理一个xml的传统拓扑中，这种方法工作得很好。但是在三叉树拓扑中，在提交到数据库之前，它在内存中保留了大量的元组，这导致了内存不足的异常。也不清楚storm是如何决定批量大小的，它在每次迭代中都会发生变化。以下是我们收到的错误：
java.lang.AbstractStringBuilder.append(AbstractStringBuilder.java:415)：在java.lang.AbstractStringBuilder.expandCapacity(Ab
浏览 4提问于2015-02-13得票数 0
我想通过Java读取一个巨大的csv文件。其中包括75 000 000行。问题是，即使我使用的是最大的xms和xmx限制，我得到的是：`java.lang.OutOfMemoryError(超过了GC开销限制)，并且它显示了这一行会导致错误：
String[][] matrix = new String[counterRow][counterCol];
我做了一些测试，看我能读15,000,000行。因此，我开始使用这种代码：
String csvFile = "myfile.csv";
List<String[]> rowList = new ArrayList(
浏览 0提问于2014-08-07得票数 0
回答已采纳
我正在尝试将spark RDD转换为Pandas DataFrame。 我使用csv文件作为示例。这个文件有10行，下面是前3行： "Eldon Base for stackable storage shelf，白金“，Muhammed MacIntyre,3，-213.25,38.94,35，Nunavut，Storage & Organization,0.8 "1.7立方英尺紧凑型“”立方体“”办公室冰箱“，巴里·弗伦奇，293,457.81,208.16，68.02，Nunavut，电器，0.58 "Cardinal Slant-D�环形粘合剂，重规格乙
浏览 50提问于2020-04-23得票数 2
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
实时音视频
云直播活动推荐
腾讯云开发者
