腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
将
2D
列表
转
换为
pyspark
DF
、
、
在spark中将
列表
转
换为
DF
,因此需要帮助找出
将
2d
列表
映射到DG的方法 a = [[1, 1, 1, 1, 1, 1, 1, 1, 0, 1, 1],[1, 1, 1, 1, 1, 1, 1, 1, 0, 1, 1] s
浏览 12
提问于2021-10-27
得票数 0
2
回答
无法从
列表
中创建dataframe :
pyspark
、
、
、
我有一个由函数生成的
列表
。当我在
列表
中执行print时:我获得:
df
= sqlContext.createDataFrame(preds_labels, ["prediction", "label"])
浏览 1
提问于2016-08-07
得票数 7
回答已采纳
1
回答
用数据库中的
pyspark
将
纳秒值转
换为
日期时间
、
、
、
在Python中,我使用以下代码
将
字段转
换为
适当的日期时间值:此代码
将
下列值1642778070000000000
转
换为
2022-01-21 15:14:30.现在,
浏览 5
提问于2022-07-05
得票数 0
回答已采纳
2
回答
RDD[string]:
将
DataFrame转
换为
pyspark
、
、
、
、
我想将
pyspark
.sql.dataframe.DataFrame转
换为
pyspark
.rdd.RDD[String]data =
df
.rddtype (data)新的RDD data包含Rowtype(first)R
浏览 2
提问于2016-02-17
得票数 8
回答已采纳
2
回答
将
具有Numpy值的熊猫数据转
换为
pysparkSQL.DataFrame
、
、
、
、
df
.col1是一系列
列表
,
df
.col2是一系列整数,
列表
中的元素类型为‘numpy.int 64’,与第二列的元素相同,这是random.int的结果。
df
.a
df
.b5 2...当我尝试使用
pyspark
.sql (
Df
)创建spark.createDataFrame数据时,会得到以下错误: TypeError: not类型:类型‘numpy.i
浏览 11
提问于2017-07-31
得票数 2
2
回答
如何正确循环和构建
pyspark
dataframe
、
、
、
、
我已经完成了
Pyspark
dataframe的逻辑,现在必须应用不同的输入并组合结果。 我想知道创建一个UDF并多次调用它是否对性能有任何好处,而不是遍历这些值,如下所示。
浏览 0
提问于2019-07-03
得票数 1
1
回答
在
PySpark
中替换浮点型nan
将
0
转
换为
空值
、
、
我有一些在我的
PySpark
数据帧中显示为NaN的值,我发现我可以
将
这些值转
换为
空值。然后,我通过将该值赋给其他值来调整这些空值。在执行此操作时,我发现它也将我的许多专栏中的0
转
换为
NULL。为什么会发生这种情况,以及如何在不影响0的情况下
将
nans转
换为
NULL?cSchema = StructType([StructField("col", LongType())])test_<e
浏览 2
提问于2020-02-27
得票数 0
1
回答
无法在
PySpark
中追加要列出的元素
、
、
、
、
我试图比较表的行,并记录在
PySpark
环境中发生更改的DataBricks环境中的值。我创建了一个空
列表
,并试图在发生更改时
将
项追加到
列表
中。问题是,当我发现一个更改并插入到
列表
中时,我会得到以下错误:
df
=
df
.
浏览 2
提问于2020-11-05
得票数 0
2
回答
在
PySpark
中将多个列转
换为
字符串的有效方法
、
、
、
在SO上有很好的记录(,,,.)如何通过类推
将
单个变量转
换为
string类型的
PySpark
:spark_
df
= spark_
df
.withColumn('name_of_column', spark_
df
[name_of_column].cast(StringType())) 但是,当您有几个要转
换为
string使用
列表
理
浏览 3
提问于2018-05-16
得票数 3
回答已采纳
2
回答
将
spark dataframe转
换为
不带pandas dataframe的元组
列表
、
、
我有一个现有的逻辑,可以
将
pandas数据帧转
换为
元组
列表
。 list(zip(*[
df
[c].values.tolist() for c in
df
])) 其中
df
是一个熊猫数据帧。有没有人能帮我在
pyspark
中实现同样的逻辑呢?
浏览 17
提问于2019-10-15
得票数 1
2
回答
Pyspark
将
标准
列表
转
换为
数据帧
、
、
、
这种情况非常简单,我需要使用以下代码
将
python
列表
转
换为
数据帧from
pyspark
.sql.types importStructField
浏览 0
提问于2018-01-26
得票数 40
回答已采纳
2
回答
以每列为关键字
将
PySpark
数据帧转
换为
JSON
、
、
、
我正在研究
PySpark
。我有一个数据框,我需要将其
转
储为JSON文件,但JSON文件应具有以下格式,例如- {"Column 1": [9202, 9202, 9202, ....], "Column 2": ["FEMALE因此,每列应该有一个键,相应的值应该包含该列中的所有值的
列表
我尝试将其转
换为
Pandas数据帧,然后在将其作为JSON
转
储之前转
换为
字典,并成功地完成了转换,但由于数据量非常大,我想直接在
PySpark<
浏览 14
提问于2019-12-18
得票数 1
回答已采纳
1
回答
如何
将
表达式iloc从pandas转
换为
Pyspark
Dataframe?
、
、
如何
将
pandas表达式转
换为
pyspark
,这似乎不起作用,然后
将
dataframe转
换为
数组?----+|2 | 5.0 | null| +-----+------+-----+
df
=
df
.iloc[-N:, :] #expression in pandas
df
=
df
.collect()[-N:][:] #
浏览 11
提问于2021-02-14
得票数 0
回答已采纳
2
回答
翻转数据
、
、
我有一个
PySpark
数据文件,类似于:|5 | 3 |3 |42 | 12..编辑2:示例代码:rdd=sc.parallelize([dicttest]).toDF()
df
浏览 1
提问于2018-05-28
得票数 3
回答已采纳
2
回答
在列中将字符串转
换为
ArrayType并爆炸
、
、
、
我有一个
PySpark
数据格式,其中列是字符串类型,而字符串是一个
2D
数组/
列表
,需要分解成行。但是,由于它不是Struct/Array,所以不可能直接使用explode。12,May,2018]]"), ('Bob',880,"Food","[[01,June,2018]]"), ('Bob',380,'Household',"[[16,June,2018]]")]
df
=
浏览 1
提问于2018-02-19
得票数 1
回答已采纳
1
回答
如何
将
DataFrame groupby().agg()的结果转
换为
新的数据帧
、
我有一个包含(yy,mm,dd,value1,value2,...)的数据帧
df
工作正常,返回一个我可以‘可视化’的
df
1多索引对象,例如
df
1.info() 问:如何
将
这个
df<
浏览 2
提问于2020-05-23
得票数 0
1
回答
检查每个id火花的列中是否存在一个值
我有这样的数据我想要这样的输出我希望有一个列Has_Rose来表示每个id的Rose是否在分类列中。
浏览 2
提问于2022-11-18
得票数 0
回答已采纳
1
回答
声明字段类型和实际字段类型不匹配时生成空值的
PySpark
SQLContext.createDataFrame
、
、
在
PySpark
(v1.6.2)中,当使用指定的模式
将
RDD转
换为
DataFrame时,值类型与模式中声明的值类型不匹配的字段
将
转
换为
null。from
pyspark
import SparkContextfrom
pyspark
.sql.types import StructTypeStructType([ StructField("foo", D
浏览 27
提问于2016-07-27
得票数 0
回答已采纳
2
回答
PySpark
dataframe到python不带嵌套字典
列表
、
、
、
|-- confidence: string (nullable = true)我正在尝试将其转
换为
Python,但是作为"words“的字典
列表
不会保留字典
列表
的格式。它们变成了元组的
列表
。我怎么才能避免呢?在火星雨中:转
换为
python dataframe: scra
浏览 4
提问于2022-03-10
得票数 0
1
回答
PySpark
--
将
行
列表
转
换为
数据帧
、
、
、
实际上,我要解决的问题是,获取
PySpark
数据的第一/最后N行,结果是数据。具体来说,我想做这样的事情:但是,因为head()返回一个行
列表
,所以我得到了以下错误:所以,我要么寻找
将
PySpark
数据rows的前N行作为数据返回的方法,要么寻找
将
这些行
列表</
浏览 1
提问于2016-05-01
得票数 7
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
盘点一个Pandas中.str的一个常见小误区
Pandas 4 个小 trick,都很实用!
23种Pandas核心操作,数据处理的利器
Pandas清洗数据的4个实用小技巧
python调整两列数据顺序的方法
热门
标签
更多标签
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM
活动推荐
运营活动
广告
关闭
领券