在使用pandas_udf和Parquet序列化时内存泄漏？

文章/答案/技术大牛

发布

2回答

python、pandas、pyspark、pyspark-sql、pyarrow

我决定不使用GroupedMap类型的pandas_udf，因为文档规定内存应该由用户管理，并且当其中一个组可能太大而无法将其保存在内存中或由Pandas DataFrame表示时，您应该特别小心。正是在这一点上，我收到了许多关于DataFrameWriter的类似Java的错误，或者内存不足异常。我已经在Windows和Linux机器上尝试过这些代码。最小值在每个平台上都是不同的，并且取决于问题的大小，这在某种程度上让我怀疑内存<

浏览 34提问于2019-05-27得票数 14

1回答

在aws glue中运行的pandas_udf函数不会在没有打印函数的情况下将对象放入s3

python、amazon-web-services、amazon-s3、user-defined-functions、aws-glue

SparkDataframe -> groupby ->调用pandas_udf方法，该方法使用boto3在s3中创建一些文件 pandas_udf方法 # Pandas_UDF methoddef saveSNFile(sndf): Save dataframe as a parquet

浏览 11提问于2020-06-13得票数 0

1回答

火花合并(20)覆盖重分区(1000).groupby(Xxx).apply(Func)的并行性

apache-spark、pyspark

我有份工作def train_predict(output_path, mode='overwrite')由于输出只有44M，所以我尝试使用coalesce来避免过多的小文件减慢hdfs。我所做的就是在.

浏览 0提问于2019-09-16得票数 1

回答已采纳

3回答

cvCaptureFromCAM中的内存泄漏？

c++、debugging、video、memory-leaks、opencv

事实证明，使用cvCaptureFromCAM会在初始化时创建一个内存。使用cvCaptureFromCAM会导致NSAutoreleasePool对象的48字节内存泄漏。我最初认为我的程序有一个bug，但当用一个简单得多的程序替换时，仍然会发生内存泄漏。Xcode泄漏来查找内存泄漏，显然我正在使用MacOSX10.6上的Xcode IDE。有谁知道泄漏的解决方案

浏览 0提问于2011-11-14得票数 2

回答已采纳

1回答

Apache parquet与arrow的区别

parquet、apache-arrow

我正在寻找一种方法来加速我的内存密集型前端vis应用程序。我看到一些人推荐Apache Arrow，当我研究它的时候，我对Parquet和Arrow之间的区别感到困惑。它们都是列式数据结构。最初我以为拼花是用于磁盘的，箭头是用于内存格式的。然而，我刚刚了解到你也可以在桌面上将箭头保存到文件中，就像abc.arrow那样，有什么区别吗？他们不是在做同样的事情吗？

浏览 22提问于2019-06-06得票数 65

回答已采纳

3回答

内存使用和最小化

c++、memory、graphics、memory-leaks、openscenegraph

我们有一个使用FOX工具包和OpenSceneGraph的图形密集型应用程序，当然还有C++。我注意到在运行应用程序一段时间后，似乎有一个内存泄漏。但是，当我最小化时，似乎释放了大量内存(在Windows任务管理器中可以看到)。当应用程序恢复时，内存使用量会攀升，但会下降到最小化之前的最低值。这是一个巨大的指标，表明我们有一个严重的内存泄漏吗？

浏览 6提问于2010-08-25得票数 3

回答已采纳

2回答

不使用XmlInclude进行序列化

c#、xml、reflection、serialization

我正在使用.NET序列化反序列化一个名为Method的类。Method包含实现IAction的对象列表。我最初使用属性来指定实现IAction的所有类。然后，用户可以反序列化包含其实现IAction的操作的文件。有没有办法在运行时设置这个属性？或者为实现类设置类似的属性？

浏览 2提问于2008-12-16得票数 12

回答已采纳

2回答

计算一个.NET对象有多少个引用

.net

我尝试序列化一个.NET对象。我试图理解其中的原因。在每次序列化之前，我只想弄清楚对象的哪些“部分”在“大小”方面发生了戏剧性的变化。在

浏览 1提问于2011-07-05得票数 2

3回答

WPF-应用程序内存泄漏

wpf、memory、memory-leaks

在WPF应用程序中，在某些操作(按下启动计算序列的按钮)之后，在每次按下按钮后，大约在10 mbytes上就会发生内存泄漏(在vm大小部分的任务管理器中可以看到)。计算序列不包含错误。内存分析器(.NET Memory Profiler)的使用表明，.net中没有泄漏，但是每次按下按钮后，名称/资源部分(标记为HeapMemory)中显示的内存大小大约会增加10 mby

浏览 5提问于2009-09-10得票数 2

1回答

在Tomcat web应用程序中读取序列化数据时的奇怪内存泄漏

java、web-applications、tomcat、servlets、memory-leaks

Data“文件包含一个名为Data的简单类的单个序列化实例。数据有几个公共字符串和Integer字段，但没有其他字段。它实现了可序列化，并定义了自己的serialVersionUID。在竞赛侦听器中，contextInitialized()执行以下操作：从获取InputStream到"Data"，从InputStream创建ObjectInputStream，从ObjectInputStream然而，当我通过Tomcat的管理应用程序停止webapp，然后检查内存泄漏</em

浏览 1提问于2011-03-14得票数 1

1回答

Spark中的用户定义函数(UDF)是否在集群工作节点上并行运行？

apache-spark、user-defined-functions

假设我在python中创建了一个函数，所以将一个数字求幂为2： def squared(s):%sql select id, squaredWithPython(id

浏览 33提问于2019-10-10得票数 0

回答已采纳

2回答

iOS应用程序在设备上崩溃，没有崩溃信息

ios、crash

我的应用程序在我重复执行某一特定操作序列几次后在设备上崩溃，通常它发生在触发1的内存级别之后，并且总是在加载其中一个视图时发生。此问题不能在模拟器中重现。每次执行时都有少量的内存泄漏，但内存使用率非常低(如分配和泄漏中所示)。我已经精简了代码，但问题仍然存在。有什么建议吗？

浏览 0提问于2011-09-28得票数 1

1回答

创建类变量时的内存泄漏

c++、memory-leaks、operator-overloading

使用来自的答案，我添加了复制构造函数和复制评估操作符，按照NathanOliver的建议更改了operator+()，现在我要传递构造函数静态数组。还有内存泄漏和奇怪的事情是，我得到了这个内存泄漏，即使在主要只有类变量初始化时，不管是否有参数.有什么建议吗？我认为狡诈者是有效的。=&X) delete [] elems; number=X.n

浏览 2提问于2015-11-11得票数 3

回答已采纳

1回答

来自pyarrow的内存泄漏？

python、pandas、parquet、pyarrow

为了解析更大的文件，我需要连续地在循环中写入大量的拼图文件。然而，这个任务消耗的内存似乎在每次迭代中都会增加，而我希望它保持不变(因为不应该在内存中附加任何内容)。这使得它很难扩展。我已经添加了一个最小的可重现示例，它创建了10000个拼花和循环附加到它上面。import resourceimport stringimport pyarrow.parquet as pq importwriter.write_tab

浏览 0提问于2018-10-27得票数 5

1回答

最佳文件大小和拼花块大小

apache-spark、amazon-s3、parquet

最初，我们在编写S3时没有决定文件大小和块大小。现在我们要重写所有内容，我们希望考虑到最优的文件大小和块块大小。与#2相同，但地板块大小为1GB？

浏览 0提问于2019-05-23得票数 9

1回答

如何在Delphi中正确释放/完成ActiveX动态链接库？

delphi、memory-leaks、activex、fastmm

我们在这里使用一个名为ODNCServer的类--在初始化时，创建了一个TAutoObjectFactory对象： pAutoObjectFactory := TAutoObjectFactory.Create(ComServer, TODNCServer, Class_ODNCServer, ciSingleInstance, tmApartment); 现在，抱怨内存泄漏，因为这个对象在任何地方都没有被释放if assigned(pAutoObjectFactory)

浏览 1提问于2009-11-26得票数 1

回答已采纳

1回答

改进Hive中的写入性能

hive、apache-spark、hiveql、shark-sql

我正在Hive上执行各种计算(使用UDF)。计算相当快，但我在Hive中的写性能遇到了一个障碍。我的结果集接近一千万条记录，把它们写到桌子上需要几分钟的时间。我尝试过缓存的表和各种文件格式(ORC和RC)，但没有看到任何性能的改善。谢谢，TM

浏览 4提问于2014-07-25得票数 2

回答已采纳

2回答

如何在Spark2.1中保存分区的拼花文件？

scala、apache-spark、apache-spark-sql、parquet

我正在尝试测试如何使用Spark2.1在HDFS2.7中编写数据。我的数据是一个简单的虚拟值序列，输出应该通过属性: id和key进行分区。("/path/to/file")- /path/to/file |- /id=test/key=2&#

浏览 3提问于2017-05-02得票数 13

回答已采纳

2回答

火花与Avro，Kryo和拼花

apache-spark、kryo、parquet

我正在努力理解Avro，Kryo和Parquet在Spark的背景下到底做了什么。它们都与序列化相关，但我见过它们一起使用，所以它们不能做同样的事情。Parquet将自己描述为一种柱状存储格式，我有点理解这一点，但是当我保存一个镶嵌文件时，Arvo或Kryo能与它有什么关系吗？或者它们只在spark工作期间相关，即。Arvo和Kryo有什么不同?当你一起使用它们时会发生什么？

浏览 3提问于2015-06-14得票数 8

3回答

递归序列会泄漏内存吗？

f#、memory-leaks、sequence、tail-recursion

我喜欢递归地定义序列如下： seq { yield!startFrom (x + 1)我不确定是否应该在实践中使用这样的递归序列。yield!似乎是尾递归的，但我不能100%确定它是从另一个IEnumerable中调用的。从我的观点来看，代码在每次调用时都会创建一个IEnumerable实例，而不会关闭它，这实际上也会导致该函数泄漏内存。这个函数会泄漏<

浏览 3提问于2009-06-19得票数 10

回答已采纳

点击加载更多