scala中List[String]的最大大小是多少
在Scala中，List[String]的最大大小取决于JVM的堆内存大小。JVM的堆内存大小可以通过设置JVM参数来调整。一般情况下，JVM的堆内存大小默认为物理内存的1/4或1/2。
在Scala中，List[String]是一个不可变的列表，它可以存储任意数量的字符串元素。由于List是基于链表实现的，它的大小不受限制，可以根据内存的限制动态增长。
然而，需要注意的是，当List[String]的大小超过JVM堆内存的限制时，会导致OutOfMemoryError异常。因此，在处理大量数据时，需要合理设置JVM的堆内存大小，以避免内存溢出的问题。
对于处理大规模数据集的场景，可以考虑使用分布式计算框架，如Apache Spark，来进行数据处理和分析。Apache Spark提供了弹性分布式数据集（RDD）的概念，可以有效地处理大规模数据集，并提供了丰富的API和函数库来支持数据处理和分析任务。
腾讯云提供了云计算服务，其中包括云服务器、云数据库、云存储等多种产品。具体关于腾讯云的相关产品和介绍，可以参考腾讯云官方网站：https://cloud.tencent.com/
相关·内容
1回答
星星之火- OutOfMemoryError: GC开销超出限制
apache-spark、pyspark、hadoop-yarn
我是个新手，目前在Hadoop2.6.5安装程序上作为t3.xlarge (16 as mem)上的一个节点运行spark 2.1.2。一直在增加spark.executor.memory -> 12g，spark.driver.maxResultSize -> 12g，spark.driver.memory -> 6g，但却一再获得GC开销限制，有什么问题和建议吗？
辅助qns:在此单节点设置中，是否更好地将更多mem分配给执行程序或驱动程序？
Traceback (most recent call last):
File "/usr/local/lib/pyt
浏览 10提问于2021-11-22得票数 1
1回答
Hadoop和Spark的主要区别是什么？
bigdata、apache-spark、apache-hadoop
最近，我读到了关于Hadoop与Spark的文章：
坚持内存中的列式数据查询。这是一个致命的特性，它允许Apache在几秒钟内运行Hadoop需要几个小时或几天的查询。内存比磁盘访问快得多，任何现代数据平台都应该进行优化，以利用这种速度。此外，柱状数据存储大大减少了用于空数据或冗余数据的内存量。
有人能解释一下: 1) Apache和Spark是什么，2)它们有什么不同，3)这与内存和磁盘访问的关系如何。
浏览 0提问于2020-09-05得票数 3
1回答
如何在没有java堆内存错误的情况下将csv读入pyspark
java-8、pyspark、heap-memory、pyspark-sql
我正在尝试用以下代码将csv读入pyspark控制台：
from pyspark.sql import SQLContext
import pyspark
sql_c = SQLContext(sc)
df = sql_c.read.csv('join_rows_no_prepended_new_line.csv')
然而，当我有144 get的空闲时，我在内存使用方面有一个很长的错误。此外，内存错误是在运行上述代码时立即发生的，因此我认为它实际上不是内存错误。我已经安装了java1.8、Spark2.4.0和python3.6。我也安装了scala，但我还没有深入研究它。我没
浏览 0提问于2019-01-29得票数 1
回答已采纳
4回答
Java -解决大于内存限制的问题
java、algorithm
我最近在思考下面的场景:假设你有一个巨大的数据库，你想要执行一些计算，同时加载它的一些部分。情况可能是这样，即使是数据库的一小部分也可能无法放入Java的堆内存中，因为堆内存非常有限。人们如何着手解决这些障碍？google如何在存储空间有限的情况下对of级的数据进行分析？
提前感谢您的回复。
浏览 0提问于2012-06-25得票数 3
回答已采纳
1回答
一个独立的MojoExecutionException，InvocationTargetException和OutOfMemoryError错误的Spark应用程序
maven、out-of-memory、apache-spark
我用Maven运行了一个独立的Spark应用程序，但我得到了一些错误。在我的集群中有一个主站和三个从站，Spark版本是0.9.1。pom.xml如下所示。
<groupId>spark</groupId>
<artifactId>testspark</artifactId>
<version>0.0.1-SNAPSHOT</version>
<packaging>jar</packaging>
<name>testspark</name>
<url>http:
浏览 2提问于2014-05-29得票数 0
1回答
当更多的核心使用火花(Sparklyr)错误到许多打开的文件
azure、apache-spark、sparklyr
我在Sparklyr上以本地模式使用以下配置：
conf <- spark_config()
conf$`sparklyr.cores.local` <- 28
conf$`sparklyr.shell.driver-memory` <- "1000G"
conf$spark.memory.fraction <- 0.9
sc <- spark_connect(master = "local",
version = "2.1.1",
config =
浏览 4提问于2017-10-19得票数 1
2回答
如何理解纱线的使用日志和诊断？
apache-spark、hadoop-yarn
我正在YARN集群上运行spark应用程序(在AWS EMR上)。应用程序似乎被终止了，我想找出原因。我试着理解下面屏幕中给出的纱线信息。
屏幕上的诊断行似乎显示，由于内存限制，纱线杀死了应用程序：
Diagnostics: Container [pid=1540,containerID=container_1488651686158_0012_02_000001] is running beyond physical memory limits. Current usage: 1.6 GB of 1.4 GB physical memory used; 3.6 GB of 6.9 GB v
浏览 1提问于2017-03-05得票数 2
2回答
用于简单rdd.count()操作的java.lang.OutOfMemoryError
apache-spark、hadoop
我在处理hdfs上的55个文件和总共1B的记录时遇到了很大的麻烦。spark-shell和PySpark都失败，并出现OOM错误。我使用的是yarn、MapR、Spark 1.3.1和HDFS2.4.1。(在本地模式下也会失败。)我试着遵循调优和配置建议，在executor上投入了越来越多的内存。我的配置是
conf = (SparkConf()
.setMaster("yarn-client")
.setAppName("pyspark-testing")
.set("spark.executor.mem
浏览 0提问于2015-06-26得票数 2
2回答
AWS Glue在TBs中处理数据时抛出错误
apache-spark、amazon-s3、pyspark、spark-dataframe、aws-glue
我正在使用AWS glue ETL job转换拼图格式的s3上的CSV数据。Snappy压缩镶木地板数据被存储回s3。
完整的架构:当数据被上传到s3时，如果一个lambda函数还没有运行，它会触发glue ETL job。作业在s3上持续上传胶水输入数据。Glue成功处理了100 up的数据，但当输入数据堆积到0.5到1TB时，Glue作业在长时间运行后抛出错误，例如10小时。
Traceback (most recent call last):
File "script_2018-01-08-23-01-55.py", line 60, in <module>
浏览 0提问于2018-01-09得票数 4
1回答
Py4JJavaError:调用o1670时出错
apache-spark、pyspark、py4j
我正在尝试将spark RDD转换为Pandas DataFrame。 我使用csv文件作为示例。这个文件有10行，下面是前3行： "Eldon Base for stackable storage shelf，白金“，Muhammed MacIntyre,3，-213.25,38.94,35，Nunavut，Storage & Organization,0.8 "1.7立方英尺紧凑型“”立方体“”办公室冰箱“，巴里·弗伦奇，293,457.81,208.16，68.02，Nunavut，电器，0.58 "Cardinal Slant-D�环形粘合剂，重规格乙
浏览 50提问于2020-04-23得票数 2
2回答
使用scala-native进行内存中数据处理
scala-native
我想知道是否有可能利用scala-native来执行大型内存作业。
例如，假设您有一个需要150‘t的spark作业，因此您必须在spark集群中运行5x30’t的执行程序，因为JVM垃圾收集器不会赶上更大的堆。
想象一下，99%被处理的数据都是集合中的Strings。
你认为scala-native在这方面会有帮助吗？我是说，作为Spark的替代品？
它是如何对待String的？因为jvm把它当做类，所以它也有这样的开销吗？
在JVM中，经典的30 GC内存(“堆”)GC限制是多少？我最终也会有30 up这样的限制吗？
或者这通常是个坏主意？使用scala-native进行内存中的数据处理。
浏览 12提问于2016-09-05得票数 5
2回答
我有一组日志文件，我想要读到一个RDD。这些日志文件都是压缩的gzip文件，文件名是日期标记。
我一直在使用sc.wholeTextFiles()读取文件，似乎遇到了Java堆内存问题。为了隔离这个问题，我决定将其作为测试用例在单个机器上的单个文件上运行。
我从这里得到了文件：
以下是文件的大小，包括压缩版本和未压缩版本：
myuser@fembuntu$ ls -ltr pagecounts-20090505-180000*
-rw-rw-r-- 1 myuser myuser 65170192 Sep 20 2009 pagecounts-20090505-180000.gz
-
浏览 6提问于2016-01-22得票数 4
回答已采纳
1回答
使用sparklyr时无法在本地中加载.csv数据
r、apache-spark、sparklyr
背景：我对整个星火平台和概念完全陌生，我正在努力学习如何通过R和sparklyr来操作它。我开始学习一门关于这个主题的在线课程，我试图用它来进行我自己的数据分析，作为学习它的一种方式。
Problem：我正在尝试加载一个6.3GbCSV数据集(~30百万行，~20 cols)，但是我得到了以下错误(据我所知，相同的块一直在重复，我在这里给出了前3条，否则我将达到帖子的字符限制)。代码运行，但17分钟后退出，出现以下错误(未加载数据)：
Error: java.lang.IllegalStateException: Cannot call methods on a stopped SparkCo
浏览 0提问于2019-01-29得票数 1
回答已采纳
1回答
对于s3上的大输入csv数据，AWS作业失败了
amazon-web-services、amazon-s3、pyspark、spark-dataframe、aws-glue
对于小型s3输入文件(~10 is )，glue ETL作业工作正常，但对于较大的数据集(~200 is)，作业失败。
添加部分ETL代码。
# Converting Dynamic frame to dataframe
df = dropnullfields3.toDF()
# create new partition column
partitioned_dataframe = df.withColumn('part_date', df['timestamp_utc'].cast('date'))
# store the data in
浏览 1提问于2017-11-24得票数 4
1回答
spark-submit中的java.lang.OutOfMemory:Java堆空间错误
apache-spark、jvm、heap-memory、spark-submit
我正在使用spark-submit和定义的JVM参数运行Spark应用程序。使用这组参数，我得到了java堆空间错误：
EXTRA_JVM_FLAGS="-server -XX:+UseG1GC
-XX:ReservedCodeCacheSize=384m
-XX:MaxDirectMemorySize=2G
-agentlib:jdwp=transport=dt_socket,server=y,suspend=n,address=500
浏览 3提问于2019-09-22得票数 0
3回答
sparklyr失败，返回java.lang.OutOfMemoryError:超出GC开销限制
java、apache-spark、sparklyr
我在使用spark_apply的Spark中遇到了GC开销超过限制错误。以下是我的规格：
sparklyr v0.6.2 Spark v2.1.0 4个工作进程，具有8个内核和29G内存
closure get_dates一次从Cassandra拉取一行数据。总共大约有200k行。这个过程运行了大约一个半小时，然后出现了这个内存错误。
我已经用spark.driver.memory做了实验，它应该会增加堆的大小，但它不起作用。
有什么想法吗？下面的用法
> config <- spark_config()
> config$spark.executor.cores = 1 #
浏览 3提问于2018-03-10得票数 1
1回答
数据库SparkException超过spark.driver.maxResultSize
scala、apache-spark、apache-spark-sql、databricks、azure-databricks
我正在Azure DBR7.3LTS，SMAR3.0.1，Scala2.12上运行以下代码，这些代码位于Standard_E4as_v4 (32.0 GB内存，4核，1 DBU)和驱动程序(56.0GB内存，16核，3 DBU)的集群上
目的是处理5.5TB的数据
我面临以下例外："org.apache.spark.SparkException:由于阶段失败而中止的作业: 57071个任务中的1163个任务(4.0 GiB)的序列化结果的总大小大于spark.driver.maxResultSize 4.0 GiB“，在6.1min内，有148.4 GiB正在处理数据。
我不收集或传输
浏览 3提问于2020-11-02得票数 0
回答已采纳
2回答
在群集模式下读取文本文件时出现异常。
apache-spark、cluster-computing、rdd
我使用spark读取一个文本文件，并将其保存在JavaRDD中，并试图打印保存在RDD中的数据。我正在一个集群中运行我的代码，其中有一个主程序和两个slaves.But，例如，容器在遍历RDD时超过了阈值。代码在独立模式下运行得很好。
我的守则：
SparkContext sc = new SparkContext("spark://master.com:7077","Spark-Phoenix");
JavaSparkContext jsc = new JavaSparkContext(sc);
JavaRDD<String> trs_testi
浏览 0提问于2018-08-21得票数 2
2回答
火花提交作业中读取拼花文件时的内存错误
scala、apache-spark、parquet
[Stage 0:> (0 + 0) / 8]SLF4J: Failed to load class "org.slf4j.impl.StaticLoggerBinder".
SLF4J: Defaulting to no-operation (NOP) logger implementation
SLF4J: See http://www.slf4j.org/codes.html#StaticLoggerBinder for further details.
浏览 0提问于2017-11-16得票数 1
回答已采纳
2回答
星星之火:写入数据时“请求的数组大小超过VM限制”
scala、apache-spark、spark-dataframe、geospatial、geojson
在运行我的Scala作业时，我遇到了一个"OutOfMemoryError: Requested数组大小超过VM限制“的错误。
我在AWS EMR集群上运行此作业，其组成如下：
主内存:1m4.4xLarge32 vCore，64 GiB内存
核心:1 r3.4×32 vCore，122个GiB内存
在EMR发布标签5.11.0上，我使用的Spark版本是2.2.1。
我在火花外壳中运行我的工作，配置如下：
spark-shell --conf spark.driver.memory=40G
--conf spark.driver.maxResultSize=25G
--c
浏览 0提问于2018-03-30得票数 0
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
活动推荐
腾讯云开发者
