腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(2020)
视频
沙龙
1
回答
仅
检索
数据
框
列
时
发生
pyspark
java
堆
空间
错误
pyspark
、
java-heap
spark的惰性求值是否真的为下面的简单示例执行任何操作:指向配置单元表的分区并获取
列
,但不是很重: >>> spark.sql('select * from default.test_table whereTraceback (most recent call last): File "/usr/lib/spark/python/
pyspark
__
浏览 15
提问于2021-02-12
得票数 0
2
回答
原因: BIRT报告中的
java
.lang.OutOfMemoryError:
Java
heap space
java
、
weblogic
、
birt
这是我在eclipse启动的weblogic服务器上运行birt报告
时
得到的
错误
。它在开发环境(本地)中运行良好。当我在测试服务器上部署
时
,我得到了这个
错误
。请任何人帮助我如何解决这个问题。请查找以下我发布的
错误
详细信息:at org.eclipse.birt.report.engine.api.impl.Engin
浏览 1
提问于2014-08-11
得票数 3
1
回答
Pyspark
数据
帧过滤语法
错误
pyspark
、
pyspark-sql
我正在使用
Pyspark
版本1.6处理
Pyspark
数据
帧。在将此
数据
框
导出到.CSV文件之前,我需要根据特定条件对特定
列
使用LIKE和OR运算符过滤
数据
。为了向您介绍我到目前为止所做的工作,我从多个.JSON文件创建了初始
数据
帧。此
数据
框
已子集,因此
仅
包含所需的
列
。然后创建了一个sqlContext临时表。到目前为止,我已经尝试了两种不同的方法,使用sqlContext和使用<e
浏览 0
提问于2017-07-27
得票数 0
回答已采纳
2
回答
创建JVM崩溃hs_err_pidXXXX.log文件。但是没有生成hprof文件。
java
、
jvm
、
crash-dumps
通过以下异常创建的应用程序(桌面应用程序)
java
.lang.OutOfMemoryError: requested 4096000 bytes for GrET in C:\BUILD_AREA\jdk6造成上述
错误
的可能原因是什么。HotSpot(TM)服务器VM (11.2-b01),于2009年1月17日由"
java
_re“与MS VC++ 7.1一起构建。我将-XX:+HeapDumpOnOutOfMemoryError添加到jvm参数中,但是jvm没有转储
堆
,我从未找到任何.hprof文件。为什么?
浏览 1
提问于2013-11-22
得票数 1
回答已采纳
4
回答
如何使用
pyspark
collect_list函数
检索
所有
列
python
、
pyspark
我有一个
pyspark
2.0.1。我正在尝试按我的
数据
框
分组,并从我的
数据
框
中
检索
所有字段的值。我发现将给我的国家和名称的属性和名称属性的值,它将给出的
列
标题为collect_list但是对于我的工作,我有大约15
列
的
数据
帧&我会运行一个循环,每次在循环中改变groupb
浏览 6
提问于2017-10-18
得票数 3
6
回答
内存不足
错误
java
、
exception-handling
9,48171437933,64505129,65120513,197511Exception in thread "main"
java
.lang.OutOfMemoryError:
Java
heap space at OBSTclasses.Coordinat
浏览 0
提问于2010-12-29
得票数 0
回答已采纳
1
回答
由于
java
.lang.OutOfMemoryError,Crashlytics报告上载崩溃
android
、
crash
、
out-of-memory
、
crashlytics
、
google-fabric
我有崩溃报告在谷歌控制台上,有两个,它是相同的(因为stackoverflow检测到它为垃圾邮件,我将只发布一个),Crashlytics试图上传报告,它将崩溃,因为内存不足的
错误
。(OkBuffer.
java
:511) at com.android.okio.OkBuffer.clone(OkBuffer.
java
:740) at com.android.okhttp.internal.http.Re
浏览 3
提问于2019-07-26
得票数 0
1
回答
Spark
Java
堆
错误
python
、
pandas
、
apache-spark
、
py4j
:
Java
heap spacerecommender_ct=recommender_sdf.crosstab('TRANS','ITEM'同样的交叉表方法用于pandas
数据
框
,当我在下面这样做
时
,它工作得非常好。因此,这表明该文件可以很容易地加载到内存中,并且可以由pandas使用,但是当使用.show()或.head()
时
,sp
浏览 2
提问于2016-09-07
得票数 1
1
回答
火花结构化流-
java
.lang.OutOfMemoryError:
Java
堆
空间
apache-spark
、
apache-spark-sql
、
spark-structured-streaming
当使用Spark结构化流处理输入流
时
,我将得到以下异常。org.apache.spark.SparkException:由于阶段失败而中止的任务:阶段5.0中的任务22失败1次,最近的失败:阶段5.0中丢失的任务22.0 (TID 403,本地主机,执行器驱动程序):
java
.lang.OutOfMemoryError:
Java
堆
空间
.withWatermark("timestamp", "5 seconds")
浏览 3
提问于2019-12-30
得票数 0
3
回答
Java
:如何优化
堆
分配和垃圾收集?
java
、
spring
、
jvm
、
spring-batch
、
heap-memory
我希望优化
堆
分配&垃圾收集,并尝试使用以下JVM选项来解决内存中的异常。 我无法理解这些参数中的一些,因为我直接从一篇文章中复制粘贴。
JAVA
_OPTS="-server -Xmx20480m -Xms512m -XX:+UseConcMarkSweepGC -XX:+UseParNewGC -XX:+CMSClassUnloadingEnabledUseCMSCompactAtFullCollection -XX:+DisableExplicitGC -XX:MaxHeapFreeRatio=70 -XX:MinHeapFreeRatio
浏览 4
提问于2021-09-22
得票数 0
回答已采纳
1
回答
熊猫到
PySpark
会产生OOM
错误
而不是溢出到磁盘上
python-2.7
、
apache-spark
、
pyspark
、
rdd
我有一个用例,在这个用例中,我想迭代地将
数据
加载到Pandas中,使用外部函数(即xgboost,在示例代码中没有显示)进行一些处理,然后将结果推到单个
PySpark
对象(RDD或DF)中。在将
数据
存储为RDD或Dataframe
时
,我尝试让
PySpark
溢出到磁盘,同样,源是Pandas DataFrame。似乎什么都没有用,我一直在破坏
Java
驱动程序,无法加载
数据
。或者,我尝试加载我的
数据
而不使用基本的textFile RDD进行处理,它工作起来
浏览 1
提问于2017-09-18
得票数 0
1
回答
检索
股票价格
r
、
stock
我正在尝试使用quantmod使用以下代码
检索
股票价格。下面的代码允许我
检索
我需要的东西。但是,当我导出CSV文件
时
,date
列
(第一
列
)
仅
显示为数字序列。需要说明的是,当我打开一个
数据
框
时
,它在R中很好,但在导出时会
发生
变化。
浏览 2
提问于2018-08-31
得票数 0
2
回答
Hadoop conf用于确定映射任务的数量
hadoop
、
configuration
、
mapreduce
、
hdfs
然而,这意味着它加载了太多的
数据
,以至于我得到了一个
Java
Heap Space
错误
。请帮帮我!发疯了!(MysqlIO.
java
:2221) at com.mysql.jdb
浏览 0
提问于2013-07-23
得票数 1
回答已采纳
6
回答
为什么
Java
使用
堆
进行内存分配?
java
、
memory
、
heap
、
heap-memory
我刚在一本
java
书中读到这样一句话:
java
中的对象驻留在堆上。使用
堆
是因为它是存储
数据
和快速
检索
数据
的最佳方式吗? 作为一个初学者,我只对
数据
结构有一个想法。
浏览 2
提问于2010-05-07
得票数 16
回答已采纳
5
回答
Java
中字节数组的内存使用
java
、
arrays
、
memory
、
ram
void main(String[] args){ }为什么我有一个"OutOfMemoryError:
Java
堆
空间
“-Exception,如果我给程序2GB内存使用它起作用了。
浏览 7
提问于2014-07-03
得票数 12
回答已采纳
2
回答
错误
-无法在JFreeChart中将
java
.sql.Timestamp强制转换为
java
.sql.Date
java
、
sql
、
jfreechart
当我使用JFreeChart从我的
数据
库中
检索
数据
以添加到图表
时
,我得到了
错误
:我有四
列
,前三
列
是使用case正确
检索
的,但在浏览最后一
列
时
,它转到了正确的case:但是
错误
发生
在这一部分: D
浏览 1
提问于2013-11-22
得票数 3
1
回答
Azure Data管道进入压缩Parquet文件:“
java
.lang.OutOfMemoryError:
Java
堆
空间
”
azure
、
azure-blob-storage
、
azure-pipelines
、
parquet
、
azure-data-factory-2
我有一个管道,从MS读取
数据
,并将它们存储到Azure中的BLOB容器中的文件中。该文件具有Parquet (也称为)格式。因此,当“接收器”(输出)文件以压缩方式存储(snappy或gzip -不重要)并且文件足够大(超过50 Mb)
时
,管道失败。如果我关闭压缩(生成的BLOB文件未压缩),则不会
发生
错误
。 这是中描述的
错误
吗?“…如果您使用自托管的Integration将
数据
复制/从Parquet格式复制,并单击“调用
java
、message:
j
浏览 0
提问于2019-09-16
得票数 1
1
回答
在DateTimePicker中显示
数据
库中的时间
c#
、
sql-server
、
datetimepicker
我的SQL Server
数据
库中有一个
列
(
数据
类型为time(7))来存储时间。当我尝试从
数据
库中
检索
该值并以DateTimePicker (设置为
仅
显示时间的格式)显示它
时
,它抛出一个InvalidCastException
错误
。dtpOutTime.Value = (DateTime)r["OutTime"]; 我可以理解抛出这个<e
浏览 0
提问于2012-10-22
得票数 1
回答已采纳
1
回答
如何在
java
中的字符串列表中
仅
检索
一组相似字符串中的一个
java
、
string
、
fuzzy-search
如何在
java
中的字符串列表中
仅
检索
一组相似字符串中的一个。the boy ate an applethe boy ate apple我的一般方法是有两个列表:原始列表和包含唯一
列
表的新列表但是,即使当我将jre内存增加到6GB
时
,我最终也会遇到
java
堆
空间
问题。
浏览 8
提问于2015-07-25
得票数 1
回答已采纳
1
回答
为什么eclipse在更改最大堆大小时不打开?
java
、
eclipse
、
eclipse-plugin
我在eclipse中安装了MAT,还安装了打开IBM格式
堆
转储的插件。当我试图使用File->Open从eclipse打开
堆
时
,我会收到一个消息
框
错误
,上面写着:我认为这是由于eclipse中的最大
浏览 0
提问于2012-08-07
得票数 4
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
一文读懂PySpark数据框
一文读懂 PySpark 数据框
Java8 内存模型新特性
索引原理初探(下)
【大数据】Presto(Trino)配置参数以及 SQL语法
热门
标签
更多标签
活动推荐
运营活动
广告
关闭
领券