腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
2
回答
从
列表
中
添加
列
的
pySpark
python
、
dataframe
、
apache-spark
、
pyspark
、
databricks
我有一个数据文件名,并希望根据列表
中
的
值
向它
添加
列
。 我
的
值
列表将从3-50个
值
变化。我是
pySpark
新手,我试图将这些
值
作为
新
列
(空)附加到我
的
df
中
。我看到了关于
如何
将
一列
添加
到
dataframe
中
的
推荐代码,而不是
从</em
浏览 2
提问于2020-05-12
得票数 1
回答已采纳
1
回答
pyspark
-
如何
添加
一列
,
从
dataframe
中
搜索
新
列
的
值
:
pyspark
如何
添加
一列
,
从
dataframe
中
查找
新
列
的
值
: 例如: A B newCol 2 b null 4 db 6 f null 8 h null 9 i c 在这种情况下,newCol
中
的
浏览 13
提问于2021-04-17
得票数 0
回答已采纳
1
回答
如何
对
pyspark
dataframe
列
应用函数
python-3.x
、
dataframe
、
pyspark
我正在尝试将我
的
pandas代码转换为
pyspark
dataframe
,并尝试在
dataframe
的
一列
上应用函数。我在pandas
dataframe
中
做了一些如下
的
事情。在操作了几个
列
值
之后,将
新
列
添加
到pandas数据帧
中
,如下所示。return USD_amount salesData['Sales (IN
浏览 15
提问于2020-01-03
得票数 1
回答已采纳
1
回答
从
星星之火数据
中
的
列表中提取值,而不转换为熊猫
pandas
、
loops
、
pyspark
我非常绿色
的
火花,所以我把它转换成一个熊猫
DataFrame
,然后使用地图功能,我提取所需
的
元素。问题是,数据是巨大
的
,因此这种方法是不可扩展
的
。让我花时间
的
是toPandas()命令。是否有
从
每一行访问列表
中
的
值
的
选项? 谢谢!
浏览 5
提问于2021-12-09
得票数 1
回答已采纳
2
回答
如何
在
pyspark
dataframe
中
返回空
值
的
行?
python
、
pyspark
、
apache-spark-sql
我正在尝试
从
pyspark
dataframe
中
获取空
值
的
行。在pandas
中
,我可以在数据帧上使用isnull()来实现这一点:但在
PySpark
的
情况下,当我运行以下命令时,它显示Attributeerror:AttributeError:'
DataFrame
‘对象没有属性'is
浏览 25
提问于2018-11-27
得票数 5
4
回答
根据pandas
中
的
另一个
列
值
有条件地填充
列
值
python
、
python-3.x
、
pandas
、
dataframe
、
numpy
我有一个包含几列
的
DataFrame
。
一列
包含正在使用
的
货币
的
符号,例如欧元或美元符号。另
一列
包含预算
值
。例如,在一行
中
,它可能意味着5000欧元
的
预算,而在下一行
中
,它可能意味着2000美元
的
预算。 在pandas
中
,我想在我
的
DataFrame
中
添加
一个额外
的
专栏,使欧元预算正常化。因此,
浏览 4
提问于2012-05-23
得票数 56
回答已采纳
1
回答
将列有条件地
添加
到数据帧
中
python
、
apache-spark
、
dataframe
、
pyspark
、
multiple-columns
我在
PySpark
中有一个数据帧。我想有条件地在数据框架
中
添加
一列
。 如果数据帧没有
列
,那么
添加
一个带有null
值
的
列
。如果
列
存在,则不执行任何操作,并返回与
新
数据帧相同
的
数据帧。
如何
在
PySpark
中
传递条件语句
浏览 6
提问于2017-01-20
得票数 0
回答已采纳
1
回答
是否在不使用UDF
的
情况下向
pyspark
dataframe
添加
新
列
?
apache-spark
、
pyspark
、
spark-dataframe
我目前有一个
pyspark
dataframe
,其中
一列
包含我想要使用我编写
的
返回信息字符串
的
函数查找
的
数字行。我知道最简单
的
方法是使用withCoulmn并定义一个UDF来
从
旧
的
列
创建一个
新
列
,但是我
的
函数不能将它注册为UDF.Is
的
方式使我可以基于旧
列
的
值
创建一个
新
<em
浏览 5
提问于2017-08-01
得票数 1
回答已采纳
1
回答
在另
一列
的
基础上将
新
列
添加
到
pyspark
数据框架
中
pyspark
、
databricks
我想使用WHEN在另
一列
的
基础上将一个
新
列
添加
到
dataframe
中
。我有民俗密码:df2=df.withColumn("test1",when(col("Countrywhen(col("Country")=="PL","PLN").otherweise(&qu
浏览 2
提问于2020-04-09
得票数 1
回答已采纳
2
回答
如何
添加
具有特殊条件
的
不同行
的
两
列
?
python
、
apache-spark
、
dataframe
、
pyspark
、
databricks
你好,我有一个
PySpark
dataframe
。因此,我想从具有特殊条件
的
不同行
中
添加
两
列
。其中
一列
是日期类型。-------------------------------------------------from
pyspark
.sql.functions import e
浏览 0
提问于2019-02-19
得票数 0
回答已采纳
2
回答
熊猫
DataFrame
只适用于返回第一栏
python
、
python-3.x
、
pandas
我正试图在
dataframe
中
的
一行
中
的
所有
列
中
搜索
文本“总计”。return False return True 假设函数f在
dataframe
中
每行调用一次,是否正确?所发生
的
情况是,我
的
newColumn只
从</
浏览 5
提问于2017-10-06
得票数 2
回答已采纳
2
回答
如何
在
pyspark
中
合并重复
的
列
?
apache-spark
、
pyspark
、
apache-spark-sql
我有一个
pyspark
dataframe
,其中一些
列
具有相同
的
名称。我想将具有相同名称
的
所有
列
合并到
一列
中
。例如,输入
dataframe
: ? 我
如何
在
pyspark
中
做到这一点?
浏览 57
提问于2021-06-18
得票数 2
回答已采纳
1
回答
如何
创建一个函数来检查
dataframe
的
PySpark
列
中
的
一行是否与另一个
dataframe
的
同
一列
中
的
另一行匹配?
python
、
dataframe
、
pyspark
如何
创建一个函数来检查一个数据文件
的
PySpark
列
中
的
一行是否与另一个Pysark
dataframe
的
同
一列
中
的
另一行匹配?我想创建一个
新
列
,如果记录
中
的
该
值
存在于另一个
dataframe
中
,该
列
将显示验证。除了要加入
的
列</e
浏览 5
提问于2021-12-11
得票数 1
回答已采纳
2
回答
添加
带有随机数据
的
新
列
python
、
apache-spark
、
pyspark
、
apache-spark-sql
我想要在
dataframe
中
添加
一个包含0或1
的
值
的
新
列
。from random import randint 但我得到了以下错误 / withColumn /python/
pyspark
/sql/
dataframe
.py“,第1313行,在withColumn
浏览 4
提问于2017-01-04
得票数 13
回答已采纳
1
回答
如何
在postgres驱动程序中使用nextval()?
sql
、
postgresql
、
apache-spark
、
jdbc
、
pyspark
在Postgres
中
,我有一个名为"mytable“
的
表,其中有两个
列
,id (bigint)和value (varchar(255))。id使用nextval('my_sequence')
从
序列
中
获取其
值
。
PySpark
应用程序接受一个
dataframe
并使用postgresql(PostgreSQL42.1.4.jar)将数据插入到"mytable“
中
。下面是我目前
如何
编写
浏览 0
提问于2018-01-21
得票数 2
回答已采纳
1
回答
根据条件向
pyspark
dataframe
添加
列
python
、
apache-spark
、
dataframe
、
pyspark
、
apache-spark-sql
我
的
data.csv文件有三
列
,如下所示。我已经将这个文件转换为python spark
dataframe
。A B C| 2 | 0 | 5 |我想在spark
dataframe
中
添加
另
一列
D,
值
为Yes或No,条件是如果B
列
中
的
相应
值
大于A B C D | 1 | -3 | 4 | No
浏览 0
提问于2019-02-23
得票数 3
回答已采纳
2
回答
Pyspark
-
如何
从
DataFrame
列
中
获取随机
值
pyspark
、
spark-dataframe
、
pyspark-sql
我在一个
DataFrame
中有
一列
,我需要在
Pyspark
中选择3个随机
值
。有没有人能帮帮我-我,好吗?+---++---+|245| |234|愿望:**output**: [123, 12, 234]
浏览 0
提问于2017-10-04
得票数 5
回答已采纳
1
回答
'
DataFrame
‘对象不支持项分配
python
、
pandas
、
dataframe
、
pyspark
、
databricks
我将df作为一个
pyspark
.sql.
dataframe
.
DataFrame
导入到Databricks
中
。在这个df
中
,我有3
列
(我已经证实它们是字符串),我希望将它们连接起来。我试过先使用一个简单
的
"+“函数。因此,我试图在每
一列
后面
添加
.astype(str),但没有结果。最后,我尝试简单地
添加
另
一列
,其中满是数字5:也收到了
浏览 1
提问于2022-12-02
得票数 0
1
回答
创建一个
新
列
,详细说明一个
PySpark
数据row
中
的
行是否与另
一列
中
的
一个行匹配。
python
、
dataframe
、
apache-spark
、
pyspark
我想要创建一个函数,该函数
从
PySpark
中
的
左联接创建一个
新
列
,详细说明一个
列
中
的
值
是否匹配或不匹配另一个
dataframe
逐行
的
列
。例如,我们有一个
PySpark
dataframe
(d1)具有
列
ID和名称,另一个
PySpark
dataframe
(d2)具有相同<e
浏览 3
提问于2021-12-11
得票数 0
2
回答
如何
使用来自另一个数据帧
的
随机值更新
PySpark
中
的
数据帧?
dataframe
、
apache-spark
、
pyspark
、
apache-spark-sql
我在
PySpark
中有两个数据帧,如下所示:
Dataframe
A:总共1000条记录 +-----++-----+| b|+-----+
Dataframe
B:共3条记录 +-----++-----+|06901|+-----+ 我需要在
Dataframe
A
中
添加
一个名为Zip
的
新
列
,并使用
从
<em
浏览 12
提问于2021-02-10
得票数 2
回答已采纳
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
肝了3天,整理了90个Pandas案例
一文读懂PySpark数据框
机器学习之计算工具库(三)
手把手教你做一个“渣”数据师,用Python代替老情人Excel
pandas系列学习(三):DataFrame
热门
标签
更多标签
活动推荐
运营活动
广告
关闭
领券