Pyspark:保存sql.dataframe时出现内存错误

Pyspark是一个用于大规模数据处理的Python库，它提供了一个高级API来操作分布式数据集。在使用Pyspark保存sql.dataframe时，有时会出现内存错误。下面是对这个问题的完善且全面的答案：

问题：Pyspark:保存sql.dataframe时出现内存错误

答案：当在Pyspark中保存sql.dataframe时出现内存错误，这通常是由于数据量过大导致的。以下是一些可能的解决方案：

增加内存分配：可以尝试增加Pyspark应用程序的内存分配。可以通过调整spark.driver.memory和spark.executor.memory参数来增加内存分配。例如，可以将这些参数设置为4g来分配4GB的内存。
增加分区数：如果数据集非常大，可以尝试增加分区数。可以使用repartition()或coalesce()函数来增加分区数。增加分区数可以将数据均匀地分布在更多的节点上，从而减少每个节点上的内存压力。
优化数据处理：可以尝试优化数据处理过程，以减少内存使用。例如，可以使用select()函数选择需要的列，而不是加载整个数据集。还可以使用filter()函数过滤掉不需要的行。
压缩数据：如果数据集包含大量重复的值，可以考虑使用压缩算法来减少内存使用。Pyspark提供了多种压缩算法，如Snappy、Gzip等。可以使用option("compression", "snappy")来设置压缩算法。
增加集群资源：如果以上方法仍然无法解决内存错误，可以考虑增加集群资源。可以增加集群的节点数或增加每个节点的内存。

推荐的腾讯云相关产品和产品介绍链接地址：

腾讯云弹性MapReduce（EMR）：提供了大规模数据处理的云服务，支持Pyspark等多种数据处理框架。详情请参考：腾讯云弹性MapReduce（EMR）
腾讯云云服务器（CVM）：提供了高性能、可扩展的云服务器，可用于部署Pyspark应用程序。详情请参考：腾讯云云服务器（CVM）

请注意，以上答案仅供参考，具体解决方案可能因实际情况而异。在实际应用中，建议根据具体情况进行调整和优化。

电火花在AWS电子病历中的应用

amazon-s3、pyspark、amazon-emr

我对PySpark和AWS都是新手。我得到了一个小项目，在这个项目中，我需要每小时清除大量的数据文件，并在此基础上构建聚合数据集。这些数据文件存储在S3上，我可以利用Spark中的一些基本功能(如filter和map)来派生聚合数据。为了节省出口成本，在执行了一些CBA分析之后，我决定创建一个EMR集群并进行pypark调用。这个概念使用由S3桶中创建的文件触发的Lambda函数很好。我正在将输出文件写回S3。但我无法理解我创建的3节点EMR集群的需求及其对我的使用。我如何利用Hadoop文件系统在这里和在节点上可用的所有存储？如何(如果可能的话)查看集群中从节点/核心节点的使用情

浏览 4提问于2020-01-14得票数 0

5回答

有75 GB内存的EMR集群上使用的10.4GB物理内存的10.4GB

apache-spark、emr、amazon-emr、bigdata

我正在AWS EMR上运行一个5节点星火集群，每个大小为m3.xlarge (1个主站，4个从站)。我成功地运行了一个146 up bzip2压缩的CSV文件，最后得到了一个完美的聚合结果。现在，我试图在这个集群上处理一个~5GB的bzip2 CSV文件，但是我收到了以下错误： 16/11/23 17:29:53警告TaskSetManager:在第6阶段(TID，xxx.compute.internal)中丢失的任务49.2 : ExecutorLostFailure (执行器16因运行任务之一而退出)原因:因超过记忆限制被纱线杀死的容器。使用10.4GB的10.4GB物理内存。考虑提高

浏览 8提问于2016-11-24得票数 64

11回答

腾讯云上如何自建DNS？

云服务器、DNS 解析 DNSPod、linux、centos、dns

当前腾讯云私有域VPCDNS暂时还不支持背景下，怎么在腾讯云CVM环境下构建内网解析？实现功能： 1.支持腾讯云云环境保留域名解析如：mirrors.tencentyun.com; 2.支持用户自有业务域名内部网解析如：you.aaa.com； 3.支持访问外网域名解析如：www.qq.com； 4.支持分域名转发到不同的DNS服务器；基础环境： CVM：标准型SA2（请根据自身业务情况，选择样本）操作系统：CentOS Linux版本7.6.1810（核心）绑定：bind-9.11.4-16.P

浏览 1385提问于2021-01-27

1回答

单节点计算机上的MapReduce是否有意义？

mongodb、mapreduce

传统的MapReduce定义认为它是一个“用于处理集群上并行分布式算法的大型数据集的编程模型”。上周末，我尝试了MongoDB，并尝试了几个简单的MapReduce查询。(书中的基本单词计数问题)。MongoDB表现得非常好，但后来我开始怀疑它究竟是一个MapReduce操作，还是仅仅是一个简单的组-通过聚合，因此我提出了这样一个问题：在单节点“集群”情况下，使用MapReduce是否有意义？

浏览 3提问于2013-10-01得票数 0

1回答

synapse管道中的DF-Executor-OutOfMemoryError

azure、out-of-memory、azure-data-factory、azure-data-factory-2、azure-synapse

我有一个来自ravenDB的json，它不是有效的json，因为它有重复的列。因此，我的第一步是清理json，如果有重复的文件，为每个文件创建单独的json。我可以在示例文件中这样做，它运行成功，然后我尝试一个12MB的文件，它也可以工作。但是当我尝试一个10 DB大小的完整数据库备份文件时，它给出了错误。这个10 GB的文件生成3个单独的json，因为它有3次DOCS列。第一个文件是9.6 is，另外两个文件很小，比如120MB和10KB。对于第一个文件，当我试图在Synapse DWH中加载它时，我会在error下面显示。作业失败，原因是:群集在执行过程中遇到内存不足问题。另外，请注意

浏览 12提问于2021-11-09得票数 1

1回答

星火的地图和减少操作是不同于Hadoop减少的吗?如果是，那么怎么做？

apache-spark、pyspark、hadoop2

我正在浏览星火文件，发现了下面的一行 Hadoop MapReduce并没有直接与星火的地图和缩减操作相关 1.请您帮助我理解星火图减少与hadoop地图减少有何不同吗？ RDD是如何在火花中工作的？它总是像蜂巢一样将代码转换成mapreduce吗？

浏览 0提问于2018-11-14得票数 1

9回答

腾讯云时序数据库 CTSDB VS 传统时序数据库？

数据库、sql

很多公司已经开始持续收集、分析数据，用于异常处理、趋势预测、精准营销、风险控制等场景，希望利用数据的潜在价值，提高公司盈利能力和竞争力。那么腾讯云时序数据库 CTSDB VS 传统时序数据库，腾讯云时序数据库有没有什么进步？

浏览 1704提问于2018-09-26

2回答

Hadoop如何决定有多少节点将执行Map并减少任务？

hadoop、mapreduce、hadoop2

我对hadoop并不熟悉，我正在努力理解它。我说的是hadoop 2。当我想要做一个MapReduce的输入文件时，在MapReduce程序中，我会说拆分的参数，所以它会产生和拆分一样多的映射任务，对吗？资源管理器知道文件在哪里，并将任务发送给拥有数据的节点，但是谁说有多少节点将执行这些任务？在映射完成之后，就有了洗牌，哪个节点将执行一个约简任务，由执行散列映射的分区程序决定，对吗？有多少节点可以减少任务？完成映射的节点是否也会减少任务？谢谢。 TLDR: --如果我有一个集群，并且运行一个MapReduce作业，那么Hadoop如何决定有多少节点将执行映射任务，然后哪些节点将执行MapR

浏览 6提问于2015-10-22得票数 1

回答已采纳

2回答

如何增加Yarn UI上显示的“内存总量”？

apache-spark、hadoop、pyspark、hadoop-yarn、apache-zeppelin

我在EMR (emr-5.20.0)上有一个集群，其中一个m5.2xlarge作为Node Master，两个m4.large作为核心，三个m4.large作为节点工作节点。这个集群的内存ram总和是62 in，但在YARN UI中显示的总内存是30 in。有人能帮我理解这个值是如何计算的吗？我已经检查了Yarn-site.xml和spark-default.conf中的配置，它们是根据亚马逊网络服务的建议进行配置的：https://docs.aws.amazon.com/pt_br/emr/latest/ReleaseGuide/emr-hadoop-task-config.html#

浏览 41提问于2019-05-22得票数 0

1回答

在Pyspark中组合DataFrames

pyspark、apache-spark-sql、amazon-emr

我有一个供应商给了我一个S3桶上的多个压缩数据文件，我需要一起读取使用Pyspark进行分析。如何修改sc.textFile()命令？另外，如果我加载10个文件，我如何引用它们？或者它们都进入一个单一的RDD？在更广泛的层面上，我将如何调整AMAZON EMR集群上的分区和内存？每个压缩文件的大小为3MB或解压缩后的1.3 3MB。谢谢

浏览 0提问于2020-02-19得票数 0

2回答

AWS EMR集群在主服务器关闭时终止

amazon-web-services、amazon-emr、elastic-map-reduce、master

目前，当EMR集群主机停止(关机行为:停止而不是终止)时，我们会丢失集群，因为EMR的架构考虑到一旦主机关闭，集群就会终止。我们所处的世界中，硬件故障非常常见，将来EMR主机可能会出现故障，那么我们如何恢复存储在EMR集群上的数据呢？类似地，如果核心节点关闭并尝试硬重新启动(停止并启动)；终止核心节点，则配置的核心节点将启动以满足所需的核心容量，并且我们将丢失终止核心节点的所有数据(HDD) (数据损坏)。有什么解决方案可以防止这种类型的终止吗？

浏览 4提问于2017-01-18得票数 1

1回答

如何充分利用集群中的所有火花节点？

amazon-ec2、apache-spark、pyspark

我已经启动了一个10节点集群与EC2-脚本在独立模式的火花。我从s3 shell中访问PySpark存储桶中的数据，但是当我在PySpark上执行转换时，只使用一个节点。例如，下面将读取来自CommonCorpus的数据： bucket = ("s3n://@aws-publicdatasets/common-crawl/crawl-data/CC-MAIN-2014-23/" "/segments/1404776400583.60/warc/CC-MAIN-20140707234000-00000-ip-10" "

浏览 0提问于2014-12-17得票数 15

回答已采纳

1回答

如何确定一次运行MR2作业可以处理的最大数据量？

java、hadoop-yarn、hadoop2

我在CDH 5.3集群上运行了一个YARN作业。我有默认配置。 No of nodes=3 yarn.nodemanager.resource.cpu-vcores=8 yarn.nodemanager.resource.memory-mb=10GB mapreduce.[map/reduce].cpu.vcores=1 mapreduce.[map/reduce].memory.mb=1GB mapreduce.[map | reduce].java.opts.max.heap=756MB 在运行分布在11个文件上的4.5 get数据时，我得到以下错误： 2015-10-12 05:21:0

浏览 5提问于2015-10-19得票数 0

2回答

Hadoop中特定键的太多值

hadoop、mapreduce

我在Hadoop上用MapReduce编写了一个K均值聚类代码。如果我有少量的集群，考虑2，如果数据非常大，那么整个数据将被分成两组，每个减速机将收到一个特定键(即集群质心)的太多值。如何解决这个问题？注意:我使用迭代方法来计算新的中心。

浏览 2提问于2015-08-10得票数 1

回答已采纳

1回答

我如何预先知道执行大数据连接所需的EMR资源？

apache-spark、bigdata、amazon-emr

我想抛出一个EMR步骤，从中我只知道以下几点：它必须从S3读取几个X GB大小的文件我还知道这个步骤需要在来自这些文件的数据子集之间执行一个连接。是否有预先计算内存/磁盘数量、vCores数量和所有其他EMR资源的逻辑/公式，以便确保一旦集群运行完毕，该步骤不会失败？在本例中，我们希望在73.9GB (2200e6行)的数据集和5.8GB的数据集(153e6行)之间执行连接(不使用持久性)。我们的实际电子病历由以下资源组成： 2个c5.4x大型实例(16 vCore，32 GiB内存，EBS仅存储EBS存储:50 GiB) 1 m3.xsize作为主存储器(8

浏览 1提问于2019-07-23得票数 1

回答已采纳

2回答

错误: Google数据-Proc集群上的java堆空间

java、hadoop、hive、google-cloud-platform、google-cloud-dataproc

我在Google dataproc集群上运行Hive insert覆盖查询，该查询来自具有 13783531 记录到另一个分区表，而不进行任何转换。由于错误而失败。 Diagnostic Messages for this Task: Error: Java heap space FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask MapReduce Jobs Launched: Stage-Stage-1: Map: 34 Cumulative CPU:

浏览 6提问于2017-04-18得票数 2

回答已采纳

1回答

星火ML梯度提升树而不是使用所有节点

python、apache-spark、pyspark、apache-spark-ml

我正在使用 in pyspark在AWS集群上训练一个包含大约400 k行和~9k列的数据帧上的二进制分类模型。我将此与当前的解决方案进行比较，该解决方案是在一个可以容纳内存中整个数据帧的大型XGBoost上运行的。我希望我能在星火中更快地训练(并获得新的观测)，因为它将是分布/平行的。然而，当观察我的集群(通过ganglia)时，我看到只有3-4个节点有活动的CPU，而其余的节点只是坐在那里。实际上，从它的外观来看，它可能只使用一个节点来进行实际的培训。我似乎在文档中找不到任何关于节点限制或分区的内容，也找不到任何与为什么会发生这种情况有关的内容。也许我只是误解了算法的实现，但我假设它的

浏览 1提问于2018-03-08得票数 4

回答已采纳

4回答

如何将大型python模型应用于？

python、apache-spark、machine-learning、pyspark、pyspark-sql

我有：包含一些数据(特性)的大数据(地板格式，100.000.000行，4.5TB大小) 几个巨大的ML模型(每个模型需要5-15 ML的RAM) 星火集群(AWS EMR)，典型的节点配置是8 CPU，32 RAM，可根据需要更改。我想使用PySpark应用它们，但是我总是收到一些连线错误，例如： OOM 随机超时(节点不返回任何结果)由纱线管理器杀死的->节点我通常使用的代码如下 def apply_model(partition): model = load(...) # load model only when apply th

浏览 0提问于2019-05-15得票数 7

8回答