腾讯云
开发者社区
文档
建议反馈
控制台
登录/注册
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
4
回答
Pyspark
将
所有
数据
框
值
增加
1
、
、
、
我正在尝试
将
dataframe中的
所有
值
增加
1
,但有一列除外,即ID列。 示例: ? 结果: ? 这就是我到目前为止所拥有的,但当我有很多列要做时(例如50列),它就会变得有点长。df_add = df.select( (df['col_a'] +
1
).alias('col_a'), .. ) 有没有更好的方法来达到同样的效果呢?
浏览 66
提问于2019-09-06
得票数 0
回答已采纳
2
回答
pyspark
:自动填充隐含的缺失
值
我有一个
数据
帧a 2 10a 4 5您可以看到,day的最大
值
为4,最小
值
为
1
,我想在
所有
用户的
所有
缺失天数中填写amount列的0,因此上面的
数据
框
将
变为user day amount a
1
14 a 3 0 b
浏览 0
提问于2020-06-02
得票数 2
4
回答
如何使用
pyspark
collect_list函数检索
所有
列
、
我有一个
pyspark
2.0.1。我正在尝试按我的
数据
框
分组,并从我的
数据
框
中检索
所有
字段的
值
。我发现将给我的国家和名称的属性和名称属性的
值
,它将给出的列标题为collect_list但是对于我的工作,我有大约15列的
数据
帧&我会运行一个循环,每次在循环
浏览 6
提问于2017-10-18
得票数 3
1
回答
如何转换
pyspark
dataframe列的
值
?
、
、
、
、
我在
pyspark
数据
框
中有一列表示电子设备的年龄,这些
值
是以毫秒为单位给出的。有没有一种简单的方法将该列的
值
转换为年份?我不是很精通Spark。编辑:我知道你可以很容易地用基本的数学
将
毫秒转换为年,我正在尝试获取
pyspark
数据
帧的一列,并迭代它,并将
所有
列
值
转换为不同的
值
。有没有一个特定的
pyspark
函数可以让这一切变得更容易?我有一个列,其中
所有
的<em
浏览 17
提问于2021-05-20
得票数 1
2
回答
以每列为关键字
将
PySpark
数据
帧转换为JSON
、
、
、
我正在研究
PySpark
。我有一个
数据
框
,我需要将其转储为JSON文件,但JSON文件应具有以下格式,例如- {"Column
1
": [9202, 9202, 9202, ....], "Column 2": ["FEMALE因此,每列应该有一个键,相应的
值
应该包含该列中的
所有
值
的列表 我尝试将其转换为Pandas
数据
帧,然后在将其作为JSON转储之前转换为字典,并成功地完成了转换,但由于
数据
浏览 14
提问于2019-12-18
得票数 1
回答已采纳
3
回答
如何在
Pyspark
中替换dataframe的
所有
空
值
、
、
我在
pyspark
中有一个超过300列的
数据
框架。在这些列中,有一些列的
值
为null。例如:null null234 null365 187当我想对column_
1
求和时,我得到的结果是一个空
值
,而不是724。现在,我想用空格替换
数据
框
所有
列中的null。所以当我尝试对这些列求和时,我不会得
浏览 1
提问于2017-02-18
得票数 56
回答已采纳
1
回答
忽略缺失
值
计算
pyspark
数据
框
列的百分位数
、
我对
pyspark
是个新手。我有一个包含ID和BALANCE列的
pyspark
数据
框
。我尝试
将
列balance存储到100% (
1
-100%)的存储桶中,并计算每个存储桶中有多少个in。我不能使用任何与RDD相关的东西,我只能使用
Pyspark
语法。df.BALANCE)我希望得到一个新的列,它可以自动计算平衡列中每个<e
浏览 14
提问于2019-07-11
得票数 0
1
回答
spark中的lit()有什么用处?下面两段代码返回相同的输出,使用lit()的好处是什么?
、
、
我这里有两段代码 gooddata=gooddata.withColumn("Priority",when((gooddata.Years_left < 5) & (gooddata.Years_left >= 0
浏览 2
提问于2020-06-10
得票数 0
1
回答
使用map函数
将
Spark Dataframe转换为RDD
、
、
我正在尝试
将
spark
数据
框
中的列拆分为多个
值
。因此,我分隔了要拆分的列,并检查了其类型:O:
pyspark
.sql.dataframe.DataFrameO:
pyspark
.rdd.PipelinedRDD万分感谢
浏览 0
提问于2016-06-22
得票数 0
1
回答
为聚合
增加
或减少分区?
、
、
我不确定在执行聚合操作时是否应该
增加
或减少分区的数量。假设我使用的是火花放电
数据
格式。
pyspark
1.6.1。
增加
分区数量的论据:由于为了聚合,我们必须对
数据
进行洗牌,所以您需要对周围的
数据
进行洗牌,从而
增加
分区的数量,以减小分区的大小。因此,过多的分区
将
浏览 1
提问于2017-08-10
得票数 1
回答已采纳
1
回答
最大递归深度超过了
将
pandas
数据
帧转换为
pyspark
数据
帧的深度
、
、
、
、
我是
pyspark
的新手,正在学习如何从Beautiful soup bs4.element.Tag对象列表中创建
pyspark
数据
帧spark_df = spsession.createDataFrame(table) 看起来这个
浏览 0
提问于2017-11-07
得票数 0
1
回答
如何处理不同类型的
PySpark
自定义项返回
值
?
、
、
、
、
我有一个只有一列的
数据
框
。在此
数据
框
的每一行中,都有一个列表。def calculate(mylist) : y = mylist[
1
] + 1.5from
pyspark
.
浏览 25
提问于2020-01-23
得票数 0
回答已采纳
4
回答
如何在多列上执行udfs -动态
、
、
、
、
我有30列,比如DPF_
1
、DPF_2、DPF_3......DPF_30,我需要在这些列上应用
数据
帧。
所有
30列
数据
类型都是String。我的要求是
将
这30列中的
所有
"Na“
值
转换为"null”。if x == "Na": return "null"udf_B = udf(udf_A, StringType()) df.withColumn("DPF_
浏览 4
提问于2018-01-16
得票数 2
回答已采纳
1
回答
星火中多列的窗口聚合
、
、
、
无法在
Pyspark
中的许多列中进行聚合。有数百个布尔列显示系统的当前状态,每秒钟添加一行。目标是转换这些
数据
,以显示每10秒窗口的状态更改数。我计划分两个步骤来完成这一任务,首先是使用上一行
值
的XOR布尔
值
,然后是10秒窗口上的第二个求和。0, i), *[round(random()) for _ in range(num_of_cols)]) for i in range(10000)], ['Time', *[f"M{m+
1
}
增加
num_of
浏览 5
提问于2020-02-03
得票数 1
回答已采纳
1
回答
如何根据
PySpark
数据
的
所有
对列的
值
来生成混淆矩阵?
、
、
、
、
我有一个
PySpark
数据
("person
1
",
1
,
1
,
1
), \ ("person2",
1
, 0, 0)
1
的
所有
列
增加
混淆矩阵的计数器。例如,对于person0,只有
1
对列A和B,它们的
值
=
浏览 1
提问于2020-12-02
得票数 0
回答已采纳
1
回答
根据其他列替换
pyspark
列
、
、
在我的"data“
数据
框
中,我有两列,”time_stamp“和”hour“。我想在缺少'time_stamp‘
值
的地方插入'hour’列
值
。我不想创建新列,而是在'time_stamp‘中填充缺少的
值
我想要做的是
将
这个pandas代码替换为
pyspark
代码: data['time_stamp'] = data.apply(lambdax: x['hour'] if pd.isna(x[
浏览 8
提问于2019-03-21
得票数 0
回答已采纳
1
回答
与Pandas结果相比,dataframe中唯一
值
的
Pyspark
数量不同
、
、
、
、
我有400万行的大型
数据
帧。其中一列是名为"name“的变量。当我通过:df['name].nunique()检查Pandas中唯一
值
的数量时,我得到了一个与
Pyspark
df.select("name").distinct().show()不同的答案(在Pandas中大约为1800,在
Pyspark
中为350 )。这是一个
数据
分区的问题吗? 编辑:
数据
框
中的name记录如下: name-{number},例如: name-<e
浏览 0
提问于2020-05-24
得票数 0
1
回答
识别
pyspark
中列
值
的第一次出现,然后根据它
增加
另一列。
当我在火花放电中遇到一个新的客户id时,我正试图
增加
一个列-
pyspark
.sql.dataframe.DataFrame类型,它有2列Customer_id 101 101010101010101010103,每当一个新的Customer_ID标志
值
被重置为
1
时,当遇到相同的id时
增加
。我想要以下输出
数据
101
1
102
1
103 2 103 3
浏览 2
提问于2020-04-05
得票数 1
回答已采纳
1
回答
如何在星火
数据
中添加具有序列
值
的列?
、
、
、
、
如何从
PySpark
数据
帧中的特定数字中添加具有序列
值
的列?当前
数据
集:Val
1
Val2 F但我希望
数据
集是这样的:Val
1
Val2 F 11F我正在使用下面的代码,在Python中。from <em
浏览 0
提问于2018-08-15
得票数 3
回答已采纳
3
回答
删除
pyspark
中
所有
列名中的空格
我是
pySpark
的新手。我收到了一个csv文件,大约有1000列。我正在使用databricks。大多数这些列之间有空格,例如“总收入”,“总年龄”等。我需要更新
所有
的列名与空格下划线‘_’。(cloned.Columns中的DataColumn c) c.ColumnName = String.Join("_",c.ColumnName.Split()); 但它在databricks上的
Pyspark
浏览 1
提问于2019-08-02
得票数 1
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
非 0即1,如何将庞大 Excel 数据表中的所有非 0 值批量替换为 1?
一文读懂PySpark数据框
一文读懂 PySpark 数据框
PySpark分析二进制文件
pyspark 安装
热门
标签
更多标签
云服务器
ICP备案
实时音视频
对象存储
即时通信 IM
活动推荐
运营活动
广告
关闭
领券