腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
圈层
工具
文章/答案/技术大牛
搜索
搜索
关闭
发布
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
没有
SQLContext
的
pyspark
中
的
clearCache
、
、
、
考虑到
SQLContext
的
pySpark
documentation说“从Spark2.0开始,这将被SparkSession所取代。”如何在不使用
SQLContext
的
情况下从内存缓存
中
删除所有缓存表?例如,其中spark是SparkSession,sc是sparkContext from
pyspark
.sql import
SQLContext
SQLContext
(sc, spark).
clearCache
浏览 20
提问于2019-05-04
得票数 3
回答已采纳
3
回答
取消持久化(py)spark
中
的
所有数据帧
、
、
、
、
这通常是在一个大
的
步骤之后,或者缓存一个我想要多次使用
的
状态之后。似乎当我第二次对我
的
数据帧调用cache时,一个新
的
副本被缓存到内存
中
。在我
的
应用程序
中
,这会导致在扩展时出现内存问题。尽管在我当前
的
测试
中
,给定
的
数据帧最大大约为100MB,但中间结果
的
累积大小超出了executor上分配
的
内存。请参见下面的小示例,该示例演示了此行为。cache_test.py: from <em
浏览 9
提问于2016-04-28
得票数 39
回答已采纳
2
回答
在通过toPandas()将其转换成熊猫数据后,是否有任何方法可以将丢弃
、
、
我使用4GB大小
的
输入文本文件创建Spark。现在我
的
内存使用量约为13 GB。 如何使我
的
计算速度更快、效率更高?#这里
的
df.cache()导致缓存花费了10分钟。我试图通过使用df.unpersist()和
sqlContext
.
clearCache
()来释放
pyspark
内存,但这
没有
帮助。注意:我主要使用
的
是电火花,因为它有效地使用cpu核心和熊猫只使用我
的</
浏览 0
提问于2019-08-14
得票数 2
1
回答
Spark:取消持久化我丢失了引用
的
RDDs
、
如何取消持久化在
没有
引用
的
MLlib模型中生成
的
RDD?我知道在
pyspark
中
,你可以用
sqlContext
.
clearCache
()解压所有的数据帧,除了scala API
中
的
RDDs之外,还有类似的东西吗?此外,有
没有
一种方法可以只取消一些RDDs
的
持久化,而不必取消所有RDDs
的
持久化?
浏览 2
提问于2017-02-07
得票数 6
回答已采纳
2
回答
用
PySpark
读取拼花文件
、
我对火花公子很陌生,似乎什么都
没有
解决。请救人。我想看一看皮斯卡姆
的
拼花文件。我写了以下代码。from
pyspark
.sql import
SQLContext
我得到了以下错误 在deco(*a,**kw) 62 Py4JJavaError
中
,py4j.protocol.Py4JJa
浏览 0
提问于2018-03-06
得票数 1
2
回答
读取多个json文件时出错
Pyspark
、
我正在尝试将大约300个单独
的
json文件读取到
pyspark
中
。但是一旦我使用了通配符,它就会出错:我已经尝试应用了以下代码:sc = SparkContext(appName='a
浏览 1
提问于2019-07-25
得票数 0
2
回答
在我
的
Linux终端上运行一个脚本来初始化
PySpark
外壳(SparkVersion2.4.4)
、
、
、
、
我在我
的
Linux计算机上使用
PySpark
。我
的
火花版本是2.4.4。
sqlContext
=
SQLContext
(sc) import
pyspark
.sql.functions as sqlfunc--我不想每次打开
PySpa
浏览 2
提问于2019-10-18
得票数 0
回答已采纳
7
回答
无模块名称
pyspark
错误
、
这是我正在学习
的
教程
中
的
代码。我
的
同学用同样
的
代码
没有
得到这个错误: 3 5
sqlCon
浏览 8
提问于2015-12-16
得票数 22
1
回答
使用
pyspark
将拼图文件(在亚马逊s3
中
)存储到spark数据框架
中
、
、
、
、
我正在尝试从我
的
s3存储桶
中
的
特定文件夹读取数据。这些数据是拼图格式
的
。2021-04-19 但是,我希望将从我
的
s3存储桶
中
检索到
的
数据存储在spark数据帧
中
,而不是熊猫数据帧。我试过做(这是我自己
的
问题),但似乎不能正常工作。 我想知道是否有任何方法可以使用awswrangl
浏览 9
提问于2021-06-10
得票数 0
回答已采纳
1
回答
使用Blaze访问Spark时出错
、
、
、
尝试用Blaze和我本地
的
Spark实例做一些相当简单
的
事情。将带有blaze
的
csv文件加载到()
中
,然后通过()使用blaze
的
Spark 1.4.0csv (simple.csv)simple_csv = bz.Data("simple.csv") carsimple
浏览 3
提问于2015-06-18
得票数 0
3
回答
以正确
的
顺序获取下一个序列值
、
、
我在oracle数据库中有一个函数,可以得到序列
的
下一个值。我还有一个下面的
PySpark
代码: QUERY = "SELECT SCHEMA.GET_NEXT_SEQ_VALUE FROM DUAL"
sqlContext
.
clearCache
() next_seq_value_df =
sqlContext
.read.format("jdbc").options(url=URL,
浏览 1
提问于2021-07-29
得票数 0
4
回答
利用isin排除对火花放电数据
的
过滤
、
、
、
我试图获取列值不在列表
中
的
dataframe
中
的
所有行(因此通过排除进行过滤)。例如:,schema=('id'+ |
浏览 0
提问于2017-01-21
得票数 48
回答已采纳
1
回答
与SparkContext相关
的
火花错误-无属性_jsc
、
我在这个问题上也看到过类似的问题,但
没有
什么能解决我
的
问题。=
SQLContext
(sc) self._jsc AttributeError: type object 'SparkContext' has no attr
浏览 0
提问于2019-01-04
得票数 1
回答已采纳
5
回答
用电火花读取csv
、
、
、
、
我是新来
的
火花。我正试着用电火花读取csv文件。我提到了,和更多。我试着用两种方式来解读:from
pyspark
.sql import SparkSessionfrom
pyspark
.confsc = SparkContext.getOrCreate()df.sh
浏览 6
提问于2018-01-03
得票数 1
5
回答
如何使鲨鱼/火花清除缓存?
、
、
、
当我运行鲨鱼查询时,内存会被囤积在主内存
中
--这是我
的
最高命令结果。现在,清除缓存
的
唯一方法是重新启动机器。 以前有
没有
人面对过这个问题?它是一些配置问题还是已知
的
火花/鲨鱼问题?
浏览 7
提问于2013-12-11
得票数 28
回答已采纳
1
回答
在星火中加载多个文件时出现
的
问题
、
、
、
parquet')但是,当我运行sql查询时,例如:它似乎只查看同一文件
中
的
最后一个元素这是否是一种预期
的
行为,如果是的话,有什么办法可以克服这种情况吗?fnames = !df = spark.read.parquet(fname) df = df.union(spark.read.parquet(
浏览 0
提问于2019-07-16
得票数 2
1
回答
用不同
的
头序追加多个CSV文件
、
、
、
我有一个包含CSV文件
的
目录,这些文件具有相同
的
列,但顺序不同。我想将它们附加到一个CSV文件
中
,但是当使用
pyspark
使用以下代码时,我会得到csv,但是里面有混合数据(也就是说,它
没有
正确地排序列
的
顺序)。from
pyspark
import SparkContext from
pyspark
.sql.functions importc
浏览 1
提问于2018-02-21
得票数 0
1
回答
星星之火1.6:如何将从Scala jar生成
的
RDD转换为吡火花RDD?
、
、
、
我正在尝试创建一些POC代码,演示如何从
PySpark
调用Scala函数,结果是一个
PySpark
.RDD。以下是Scala端
的
代码: } 这就是我在
PySpark
端访问它所做
的
事情: >>> foo = sc._jsc.sc
浏览 18
提问于2017-05-05
得票数 0
回答已采纳
1
回答
将pandas数据帧转换为spark数据帧时收到错误
、
、
由于在spark
中
没有
对读取excel文件
的
开箱即用
的
支持,所以我首先将excel文件读取到pandas数据帧
中
,然后尝试将pandas数据帧转换为spark数据帧,但我得到了以下错误(我使用spark1.5.1)from pandas import ExcelFilefrom
pyspark
.sqlimport
SQLContext
from
浏览 0
提问于2016-01-15
得票数 2
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
热门
标签
更多标签
云服务器
ICP备案
对象存储
云直播
腾讯会议
活动推荐
运营活动
广告
关闭
领券