腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
如何
根据
Pyspark
中
的
列名
列表
检查
dataframe
是否
包含
列
?
、
16327335157 C 19 30 1632733521 我有一个
包含
多个
列
的
dataframe
和一个
包含
部分df
列名
称
的
列表
。现在,我想
检查
该
列
是否
存在于
列表
中
。如果该
列
在
列表
中</e
浏览 106
提问于2021-11-18
得票数 0
回答已采纳
1
回答
如何
根据
具有特定值
的
多个
列
对
DataFrame
进行子集(使用loc() )?
、
如果我想
根据
指定
列
具有多个指定值
的
条件创建
DataFrame
的
子集,则可以这样做:如果我有一个
列名
列表
,那么
根据
条件创建
DataFrame
子集
的
最佳方法是什么,该条件
检查
这些
列
是否
包含
特定
的
值。例如,<em
浏览 4
提问于2017-05-10
得票数 1
回答已采纳
1
回答
传递
列表
中
的
列名
、
、
、
我有一个
列名
列表
,每次
列名
都不同。
列名
存储在
列表
中
。因此,我需要将
列表
中
的
列名
(在下面的示例
中
是它
的
id和programid id)传递给when子句,并
检查
这两
列
是否
都
包含
空值。
Pyspark
代码: ColumnList = ['id','programid
浏览 10
提问于2019-04-12
得票数 2
2
回答
df.ColumnName
如何
取回
列
值,其中Columnname是来自
Pyspark
中
的
user
、
我
的
Pyspark
代码如下: Product = results.where(results.ColumnName == ProductName ) 1399 if name not in self.columns: 1403 return Column(jc) Attrib
浏览 53
提问于2020-08-16
得票数 0
回答已采纳
1
回答
如何
使用
列表
重命名
pyspark
dataframe
的
所有
列
、
我有一个现有的
pyspark
dataframe
,大约有200
列
。我有一个
列名
的
列表
(按照正确
的
顺序和长度)。
如何
在不使用structtype
的
情况下将
列表
应用到
dataframe
?
浏览 73
提问于2021-09-02
得票数 1
1
回答
基于
列名
/字符串条件
的
PySpark
删除
列
、
、
我希望将
列
放在
包含
banned_columns
列表
中
任何单词
的
pyspark
中
,并从其余
列
中
形成一个新
的
dataframe
。basket和cricket开头
的
任何
列
,以及在其名称
中
任何地方都
包含
单词ball
的
列
。以上是我到目前为止所做
的
工作,但不起作用(因为新
的</e
浏览 0
提问于2018-07-16
得票数 1
回答已采纳
2
回答
在
pySpark
中
按条件分割数据
、
、
、
我有一个
dataframe
值为false、true或null。我想创建两个dataframes,1)只使用True
列名
,2)只使用假
列名
。我最初
的
想法是创建两个dataframes (因为它们稍后将被附加到一个更大
的
数据集中),或者我还考虑将适当
的
列名
转换为一个
列表
,然后将
列表
名称转换为
列名
。我是
pySpark
新手,我想知道
如何
在不硬编码任何
列名
(我有几百
浏览 3
提问于2020-05-07
得票数 1
回答已采纳
2
回答
在
Pyspark
中将任意数量
的
列
合并为Array类型
的
新
列
、
我有一个
pyspark
dataframe
,它
包含
N个
包含
整数
的
列
。某些字段也可能为空。f为前缀
的
列
组合成一个新
列
中
的
pyspark
数组。features_filtered = features.select(F.concat(* features.columns[1:]).alias('combined')) 它返回null (我假设是由于初始
dat
浏览 67
提问于2020-06-18
得票数 1
回答已采纳
1
回答
大数据结构
还要解释两个join语句要实现
的
目标。
浏览 2
提问于2021-10-28
得票数 0
1
回答
根据
列名
条件重命名
dataframe
中
的
大量
列
、
我将一个XLM文件平面化为
dataframe
,其中一个属性是
包含
超过50个值
的
列表
,生成
的
dataframe
为
列表
创建了从1到50
的
列
最后
dataframe
的
列有A、B、C、D、0、1、2、3、4、5、6、7……50,我想
根据
某种逻辑将其重命名为A、B、C、D、Role0、Role1、Role2、Role3、Role4、......Role50 我可以重命名编号
的
浏览 2
提问于2021-10-16
得票数 0
1
回答
pySpark
根据
列表
检查
列
是否
存在
、
、
、
我
的
最终目标是,如果两个比较
列名
出现在从df1提取
的
值
列表
中
,则在df2
中
使用这两个比较
列名
。 我有一个名称
列表
和一个函数,用于
检查
这些名称在df1
中
是否
作为
列名
存在。然而,这在python
中
起作用,在
pySpark
中
不起作用。我得到
的
错误是:AttributeError: '
DataFram
浏览 28
提问于2020-04-30
得票数 1
回答已采纳
3
回答
我可以询问一个
PySpark
DataFrame
来获取引用
列
的
列表
吗?
、
、
给定一个,
是否
可以获得
DataFrame
引用
的
源
列
的
列表
?import
pyspark
.sql.functions as func+----------+--------+ | finance|
浏览 8
提问于2022-11-28
得票数 1
1
回答
将
pyspark
数据框
的
列
转换为小写
、
、
、
我有一个
pyspark
格式
的
dataframe
,它
的
列
是大写
的
,比如ID、COMPANY等等我们
如何
做到这一点?
浏览 0
提问于2017-03-25
得票数 18
回答已采纳
1
回答
PySpark
:
根据
值
中
的
字符列出
列名
、
在
PySpark
中
,我试图清理一个数据集。一些
列
的
值中有不需要
的
字符(=“")。假设
列
总是
包含
类似的条目,我只使用数据集
的
最后一行。
DataFrame
(df):="100010" 10 20 ="30"期望产出: column
浏览 0
提问于2018-09-24
得票数 1
回答已采纳
1
回答
PySpark
DataFrame
列
引用: df.col vs. df['col'] vs. F.col('col')?
、
、
我有一个概念,我希望你能帮助澄清: 以下三种引用
PySpark
数据格式
中
列
的
方法有什么区别。我知道不同
的
情况需要不同
的
形式,但不知道为什么。
浏览 2
提问于2019-03-11
得票数 23
回答已采纳
1
回答
如何
检查
一行
的
所有
列
是否
为空,而无需硬编码查询
中
的
任何
列名
?
、
如何
检查
一行
的
所有
列
是否
为null,而无需硬编码吡火花查询
中
的
任何
列名
?我有一个
列
,它是对象类型,
包含
json格式
的
字符串。如果
列
的
所有json字段都为空,我希望引发异常。目前,如果我执行columnname.jsonfield,那么我
的
代码将按预期抛出异常,但我希望
检查
所有字段
是否
为null。我不能硬编码所有
浏览 2
提问于2021-06-02
得票数 2
回答已采纳
1
回答
动态
列
.withColumn Python
DataFrame
、
、
、
、
我想在我
的
星火
DataFrame
上动态地应用. list
中
的
列名
。from
pyspark
.sql.functions import col matches 上面的代码给出列数据类型为“tinyint”
的
列
的</em
浏览 3
提问于2020-04-21
得票数 1
回答已采纳
1
回答
如何
在不将
列
列表
临时存储到变量
中
的
情况下重命名df
列
?
、
、
、
我正在提取Snowflake表并将其加载到
PySpark
DataFrame
中
,并且我想重命名它
的
列
。现在,正在将加载
的
数据帧存储到一个变量
中
,然后访问
列
列表
: spark.read.format("snowflake") .optionscalculated_signal_df = calculated_signal_df.toDF(*[c.low
浏览 1
提问于2021-04-21
得票数 0
1
回答
Pyspark
使用.filter()过滤掉空
列表
、
、
、
我有一个
pyspark
dataframe
,其中一
列
填充了
列表
,要么
包含
条目,要么只
包含
空
列表
。我想高效地过滤掉所有
包含
空
列表
的
行。import
pyspark
.sql.functions as sf: java.lang.RuntimeException: Unsupported literal
浏览 17
提问于2017-02-24
得票数 7
回答已采纳
3
回答
将行
中
的
每一
列
传递给Spark
中
的
哈希函数
、
、
、
我有一个带有N
列
的
表,我想将它们连接到一个string
列
中
,然后在该列上执行一个散
列
。我想完全在Spark
中
完成这项工作,理想情况下,我已经尝试过HASH(*) as myhashcolumn,但是由于几个列有时为null,我无法像我所期望
的
那样使它工作。如果我必须创建一个UDF并注册它以实现这一点,我需要使用Python而不是Scala,因为我
的
所有其他代码都是用Python编写
的
。 有什么想法吗?
浏览 1
提问于2018-11-26
得票数 1
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
肝了3天,整理了90个Pandas案例
pandas系列学习(三):DataFrame
pandas.dataframe 专题使用指南
使用Pandas&NumPy进行数据清洗的6大常用方法
一文读懂PySpark数据框
热门
标签
更多标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
活动推荐
运营活动
广告
关闭
领券