腾讯云
开发者社区
文档
建议反馈
控制台
首页
学习
活动
专区
工具
TVP
最新优惠活动
文章/答案/技术大牛
搜索
搜索
关闭
发布
登录/注册
精选内容/技术社群/优惠产品,
尽在小程序
立即前往
文章
问答
(9999+)
视频
沙龙
1
回答
pyspark
-
列
之间
的
isin
python
、
pyspark
、
isin
我正在尝试使用
isin
函数来检查一个
pyspark
datarame
列
的
值是否出现在另一个
列
的
同一行上。以下是我尝试过但没有成功
的
方法: df.withColumn('GOAL_f', F.col('loc').
isin
(F.col('main_list').collect()) 合并代码: w = Window.partitionByWindow.unboundedPreceeding,-1
浏览 24
提问于2021-11-12
得票数 0
回答已采纳
1
回答
如何过滤清单中
的
值
列
?
apache-spark
、
pyspark
、
apache-spark-sql
我有一个数据rawdata,在此数据上,我必须在
列
X上应用筛选条件,值为CB、CI和CR。所以我使用了以下代码:但我得到了以下错误: 请告诉我如何解决这个问题
浏览 0
提问于2017-10-12
得票数 21
回答已采纳
1
回答
在Dataframe上使用where()或filter()时出错
python
、
pyspark
、
boolean-expression
、
pyspark-dataframes
我想检查Dataframe
列
first_id中
的
值是否在我所拥有的in
的
python列表中,如果是,那么它应该传递过滤器。other_ids = id_dataframe.where(ids["first_id"] in first_id_list).select("other_id")Value
浏览 5
提问于2019-11-19
得票数 0
回答已采纳
1
回答
Python -使用
Pyspark
检查.
isin
()
列
中是否有单个值是正确
的
吗?
python
、
python-3.x
、
pyspark
在
PySpark
中,当我想要检查其中一个值是否在
列
中时,我使用.
isin
() F.col('metric').
isin
({"Metric_value1, Metric_value2"}) 像下面这样对单个值执行相同
的
检查是否正确,或者有更好
的
方法这样做?F.col('metric').
isin
({"Metric_value1"})
浏览 21
提问于2020-06-18
得票数 1
回答已采纳
1
回答
是否可以使用DataFrames过滤Spark来返回列表中
列
值所在
的
所有行?
python
、
apache-spark
、
pyspark
如果某
列
的
值在指定
的
列表内,我如何才能只返回Spark DataFrame
的
行?下面是我
的
Python pandas执行此操作
的
方法:我看到了scala
的
实现,并尝试了几种排列方式,但都不能正常工作。下面是使用
pyspark
完成此操作<
浏览 17
提问于2017-03-14
得票数 5
回答已采纳
1
回答
Pyspark
-处理异常并在
pyspark
数据帧中引发RuntimeError
apache-spark
、
pyspark
、
spark-dataframe
、
pyspark-sql
、
apache-spark-1.6
我有一个dataframe,我正在尝试基于现有
列
的
值创建一个新
列
: F.when(dfg['list'].
isin
(["A","when(dfg['list']=="D",F.when(dfg['b_time']==0,lit(10)).otherwise(2*dfg['b_time'])).when(
浏览 14
提问于2018-02-01
得票数 0
1
回答
如何在过滤器函数内部使用for循环?
pyspark
我想根据列表中
的
一些元素过滤数据中
的
一
列
。我怎么能用for循环做这件事? 例如,假设我有my_list=['ca','hg,'po],我想根据这个列表过滤col1。
浏览 2
提问于2022-08-28
得票数 0
回答已采纳
1
回答
在
PySpark
中使用数据帧
的
值来划分聚合值
apache-spark
、
pyspark
我在
pyspark
中有一个如下所示
的
数据框架。import
pyspark
.sql.functions as F F.when(df.device.
isin
(phone_list), 'phones现在,我想对代码做一些更改,在将cat
列
除以该id
的
data frame中
的
值之后,我希望填充
列
值。我试了一下,但没有得到正确
的
结果 df.withColu
浏览 0
提问于2018-06-05
得票数 0
回答已采纳
1
回答
将值透视到
PySpark
数据框中
的
现有
列
python
、
apache-spark
、
pyspark
我在
pyspark
中有一个类似下面的数据框架。from
pyspark
.sql.functions import col, when, lit df1 = df.withColumn(df1.device.
isin
(pc_list), 'pc').otherwise( F.when(df1.device.
isin
(security_list), 'security')))n
浏览 34
提问于2018-06-06
得票数 0
回答已采纳
1
回答
如何比较列子集上
的
两个数据格式
之间
的
所有行匹配?
python
、
pandas
、
apache-spark
、
pyspark
、
pyspark-dataframes
对于具有
列
标题
的
行和
列
,则保持不变。 不确定这是否正确
的
方
浏览 0
提问于2021-02-02
得票数 0
1
回答
多条件withColumn性能建议
apache-spark
、
pyspark
、
apache-spark-sql
这是我
的
代码。我得到了正确
的
输出,但我花费了很长时间,我觉得我重复了太多次。 我
的
问题是,有没有另一种方法来检查数据库行是否符合我所要求
的
条件?提前感谢您
的
建议 Output = (db.withColumn('Puhelin', F.when(F.col('source_browser_platform')=='Android OS' ,F.lit
浏览 18
提问于2021-02-05
得票数 1
回答已采纳
1
回答
火花放电雷格克斯
python
、
regex
、
pyspark
我对火花放电非常陌生,所以这里有一个非常基本
的
问题:所以我有一个Dataframe,它看起来如下:|I 27-May-18 10:1...|false||I 27-May-18 10:1...|false|因此,它
的
正则表达式是:'^[EUWI]\s' 当我把
浏览 0
提问于2018-07-31
得票数 1
回答已采纳
1
回答
如何将电火花
列
(
pyspark
.sql.column.Column)转换为火花放电数据?
apache-spark
、
pyspark
、
apache-spark-sql
我有一个用例来映射基于条件
的
pyspark
列
的
元素。通过这个文档,我找不到一个函数来执行映射函数。因此,尝试使用
pyspark
映射函数,但无法将
pyspark
列
转换为dataFramedef _spar
浏览 4
提问于2021-11-19
得票数 0
回答已采纳
1
回答
pyspark
使用'in‘子句将一个RDD馈送到另一个RDD
pyspark
、
spark-dataframe
、
rdd
、
pyspark-sql
我有一个
pyspark
RDD (myRDD),它是一个可变长度
的
ID列表,比如我有一个包含
列
ID和value
的
pyspark
数据框架(myDF)。我想用以下查询来查询myDF: outputDF = myDF.select(F
浏览 26
提问于2017-08-24
得票数 0
4
回答
利用
isin
排除对火花放电数据
的
过滤
python
、
apache-spark
、
pyspark
、
pyspark-sql
我试图获取
列
值不在列表中
的
dataframe中
的
所有行(因此通过排除进行过滤)。++---+---+| 2| b|| 4| c|+---+---+df.filter('bar not in ("a","b")').show() 是否有一种不为SQL表达式使用字符串或一次
浏览 0
提问于2017-01-21
得票数 48
回答已采纳
0
回答
使用Spark中
的
列
进行简化
python
、
scala
、
apache-spark
根据通过这些过滤器
的
记录,我在dataframe中添加了一个新
列
。请参考以下代码:val df_final = df_join.withColumn("rule_name&q
浏览 8
提问于2017-06-16
得票数 1
1
回答
在
pyspark
中查找和删除匹配
的
列
值
apache-spark
、
pyspark
、
spark-dataframe
、
pyspark-sql
我有一个
pyspark
dataframe,其中
的
列
偶尔会有一个与另一
列
匹配
的
错误值。| 42.9399 || 2017-01-04 | 2017-01-04 |df['Date'].
isin
(['
浏览 2
提问于2018-04-24
得票数 2
1
回答
如何在下面的代码中传递数组(多
列
)
replace
、
pyspark
、
special-characters
、
multiple-columns
如何传递数组列表(多
列
),而不是使用以下命令在
pyspark
中传递单个
列
:eg:-filter_list = ['##', '$'] 在本例
浏览 0
提问于2017-11-27
得票数 0
回答已采纳
1
回答
列
中
的
搜索值
python-3.x
、
pyspark
、
pyspark-dataframes
我想搜索
列
是否包含值。import
pyspark
from
pyspark
.sql.types import * print('Yes') print('No')``` but with
pyspark
I
浏览 16
提问于2020-09-29
得票数 1
回答已采纳
1
回答
带
isin
的
Pyspark
数据帧过滤器
python
、
pyspark
我正在尝试将我
的
数据帧
的
一个子集应用于多个条件,但我无法在
pyspark
中复制常规
的
pandas
isin
行为。假设我
的
目标dataframe是(在pandas中):其中,string1是来自同一df
的
列
(其他df
的
串联),而look_string是具有一
列
和不同长度
的
另一df string1 =
浏览 3
提问于2020-10-11
得票数 1
点击加载更多
扫码
添加站长 进交流群
领取专属
10元无门槛券
手把手带您无忧上云
相关
资讯
一文读懂PySpark数据框
一文读懂 PySpark 数据框
PySaprk之DataFrame
Pandas中比较好用的几个方法
Python开源数据分析工具TOP 3!
热门
标签
更多标签
云服务器
ICP备案
实时音视频
即时通信 IM
对象存储
活动推荐
运营活动
广告
关闭
领券