腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
需要
RDD
的实例,但返回了类“
pyspark
.
rdd
.PipelinedRDD”
、
、
、
df,spark):return result.
rdd
.sample(False, 0.1).map(lambda row : (row.temperature))任何帮助都将是
浏览 0
提问于2017-06-04
得票数 5
回答已采纳
2
回答
将数据保存到HDFS的格式是什么?
、
、
、
在dataframe或
rdd
中是否有其他格式可用于在Hadoop中保存数据?
浏览 2
提问于2017-12-21
得票数 1
1
回答
火花放电
rdd
分裂问题
、
、
部件是类“
pyspark
.
rdd
.
RDD
”,下面的数据集作为列表值。'
pyspark
.
rdd
.
RDD
' 20/02/05 19:11:43 ERROR Executor: Exception) File "/usr/local/spark/python/lib/
pysp
浏览 5
提问于2020-02-08
得票数 1
回答已采纳
1
回答
火花流与json文件
、
Seconds(40)) lines.foreachRDD(
rdd
=>
rdd
.foreach(println)) words.foreachRDD(
rdd
=>
rdd
.foreach(printl
浏览 4
提问于2017-07-22
得票数 2
2
回答
火花流- json格式的Dstream消息到DataFrame
、
、
、
:289) at org.apache.spark.
rdd
.
RDD
$$anonfun$take$1$$anonfun$29.apply(
RDD
.scala:1354) at
浏览 1
提问于2018-05-10
得票数 2
回答已采纳
1
回答
如何使用
pyspark
.mllib
rdd
api度量来测量
pyspark
.ml (新数据帧api)?
、
、
MlLib的旧API有评估指标类:,而新的dataframe API没有这样的类:
浏览 0
提问于2016-09-06
得票数 0
2
回答
RDD
[string]:将DataFrame转换为
pyspark
、
、
、
、
我想将
pyspark
.sql.dataframe.DataFrame转换为
pyspark
.
rdd
.
RDD
[String]data = df.
rdd
type (data)新的
RDD
data包含Rowtype(first) ##
pyspark
.sql.types
浏览 2
提问于2016-02-17
得票数 8
回答已采纳
1
回答
如何批量收集
RDD
中的元素
、
、
我有一个
pyspark
RDD
,它有大约200万个元素。我不能一次收集它们,因为它会导致OutOfMemoryError异常。 如何批量采集?这是一个潜在的解决方案,但我怀疑还有更好的方法:收集一个批处理(使用take、https://spark.apache.org/docs/3.1.2/api/python/reference/api/
pyspark
.
RDD
.take.html#
pyspark
.
RDD</
浏览 29
提问于2021-10-12
得票数 0
回答已采纳
1
回答
电火花纱获得烟斗拒绝许可
、
、
/
pyspark
/
rdd
.py",第2346行,pipeline_func文件"/data/yarn/nm/usercache/work/appcache/application_1495632173402_0079/container_1495632173402_0079_01_000001/
pyspark
.zip/
pyspark
/
rdd
.py"
浏览 3
提问于2017-05-25
得票数 0
1
回答
AttributeError:“NoneType”对象中没有属性“_jvm”
、
、
、
、
\
pyspark
\sql\session.py:66, in _monkey_patch_
RDD
.488
rdd
=
rdd
.map(converter) 458 :class:`
pyspark
.sql.types.StructType` 459 ""&q
浏览 14
提问于2022-09-19
得票数 0
回答已采纳
1
回答
PicklingError:未能序列化对象:同时将数据插入到dynamoDB
、
、
%livy.
pyspark
from typing import Text, List return self._jrdd.toString() File "/usr/lib/spark/python/lib/<e
浏览 6
提问于2021-02-27
得票数 0
2
回答
我如何才能在
PySpark
中得到一个不同的数据集?
、
、
、
我有一个字典的
RDD
,我想得到一个只包含不同元素的
RDD
。但是,当我试图打电话给
PySpark
给出了以下错误 at org.apache.spark.api.python.PythonRunner/
pyspark
.zip/
pyspark
/
rdd
.py", line 2346, in pipeline_
浏览 5
提问于2016-02-19
得票数 2
回答已采纳
2
回答
ValueError: object (3)的长度与字段长度不匹配
、
、
我手动创建
PySpark
DataFrame,如下所示:[('timestamp', 1506340019), ('pk', 111), ('product_pk_1510134261242_0002/container_1510134261242_0002_01_000003/
pyspark
.zip/
pyspark
/worker.py", line 172,/
pysp
浏览 1
提问于2017-11-08
得票数 3
回答已采纳
1
回答
Pyspark
-读取包含多个JSON的文本文件时,spark streaming时无法解码json对象
、
、
latitude": 40.71911552, "statusKey": 1, "availableBikes": 30, "id": 79, "location": ""}from
pyspark
.sqlimport SQLContext, Rowimport json ssc = StreamingContext'] =
浏览 3
提问于2017-04-25
得票数 0
1
回答
火花放电中循环到并行过程的替换
、
、
、
用于:size_
RDD
= sc.parallelizelength, end_date)if len(size_DF) == 0:else: size_
RDD
.mapPartition
浏览 0
提问于2018-02-28
得票数 2
回答已采纳
1
回答
如何在没有模式的情况下查询dataframe和
rdd
如何将csv文件without any schema加载到spark
rdd
和dataframe中并分配模式AA,19970101,47.82,47.82,47.82,47.82,0
浏览 0
提问于2019-07-17
得票数 0
2
回答
星星之火:Py4JJavaError:调用o142.saveAsTextFile时出错
、
/spark/python/
pyspark
/
rdd
.py", line 2440, in pipeline_func [Previous line repeated 2 more times] File "/home/spark/python/
pyspark
/
rdd
.py&q
浏览 1
提问于2020-07-01
得票数 0
回答已采纳
1
回答
星星之火:如何将元组转化为DataFrame
、
、
我的train_
rdd
和(('a',1),('b',2),('c',3))一样。我使用以下方法将其转换为DataFrametrain_label_df = train_
rdd
.map(lambda x: (Row(**dict_/container_05_000002/
pyspark
.zip/
pyspark
/
rdd
.py"
浏览 8
提问于2020-07-07
得票数 1
回答已采纳
1
回答
将现有函数用作UDF以修改列时出错
、
、
、
、
我有一个包含纯文本的字符串类型列的dataframe,我想使用
pyspark
.sql.functions.udf (或
pyspark
.sql.functions.UserDefinedFunction?_read_with_length(infile)
浏览 10
提问于2016-05-24
得票数 0
回答已采纳
5
回答
我在Spark中创建简单的
RDD
时遇到错误
、
、
我正在使用Jupyter notebook,刚刚开始学习Apache spark,但在创建简单的
RDD
时遇到错误:错误是:,每种情况下都会发生这种情况
浏览 3
提问于2017-03-30
得票数 5
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
PySpark数据分析基础:PySpark原理详解
pyspark 安装
PySpark调优
大数据技术,Spark之RDD,RDD的两种算子介绍
什么是 Spark RDD?
热门
标签
更多标签
云服务器
ICP备案
对象存储
实时音视频
云直播
活动推荐
运营活动
广告
关闭
领券