pyspark -列之间的isin

文章/答案/技术大牛

发布

1回答

python、pyspark、isin

我正在尝试使用isin函数来检查一个pyspark datarame列的值是否出现在另一个列的同一行上。以下是我尝试过但没有成功的方法： df.withColumn('GOAL_f', F.col('loc').isin(F.col('main_list').collect()) 合并代码： w = Window.partitionByWindow.unboundedPreceeding,-1

浏览 24提问于2021-11-12得票数 0

回答已采纳

1回答

如何过滤清单中的值列？

apache-spark、pyspark、apache-spark-sql

我有一个数据rawdata，在此数据上，我必须在列X上应用筛选条件，值为CB、CI和CR。所以我使用了以下代码：但我得到了以下错误：请告诉我如何解决这个问题

浏览 0提问于2017-10-12得票数 21

回答已采纳

1回答

在Dataframe上使用where()或filter()时出错

python、pyspark、boolean-expression、pyspark-dataframes

我想检查Dataframe列first_id中的值是否在我所拥有的in的python列表中，如果是，那么它应该传递过滤器。other_ids = id_dataframe.where(ids["first_id"] in first_id_list).select("other_id")Value

浏览 5提问于2019-11-19得票数 0

回答已采纳

1回答

Python -使用Pyspark检查.isin()列中是否有单个值是正确的吗？

python、python-3.x、pyspark

在PySpark中，当我想要检查其中一个值是否在列中时，我使用.isin() F.col('metric').isin({"Metric_value1, Metric_value2"}) 像下面这样对单个值执行相同的检查是否正确，或者有更好的方法这样做？F.col('metric').isin({"Metric_value1"})

浏览 21提问于2020-06-18得票数 1

回答已采纳

1回答

是否可以使用DataFrames过滤Spark来返回列表中列值所在的所有行？

python、apache-spark、pyspark

如果某列的值在指定的列表内，我如何才能只返回Spark DataFrame的行？下面是我的Python pandas执行此操作的方法：我看到了scala的实现，并尝试了几种排列方式，但都不能正常工作。下面是使用pyspark完成此操作<

浏览 17提问于2017-03-14得票数 5

回答已采纳

1回答

Pyspark-处理异常并在pyspark数据帧中引发RuntimeError

apache-spark、pyspark、spark-dataframe、pyspark-sql、apache-spark-1.6

我有一个dataframe，我正在尝试基于现有列的值创建一个新列： F.when(dfg['list'].isin(["A","when(dfg['list']=="D",F.when(dfg['b_time']==0,lit(10)).otherwise(2*dfg['b_time'])).when(

浏览 14提问于2018-02-01得票数 0

1回答

如何在过滤器函数内部使用for循环？

pyspark

我想根据列表中的一些元素过滤数据中的一列。我怎么能用for循环做这件事？例如，假设我有my_list=['ca','hg,'po]，我想根据这个列表过滤col1。

浏览 2提问于2022-08-28得票数 0

回答已采纳

1回答

在PySpark中使用数据帧的值来划分聚合值

apache-spark、pyspark

我在pyspark中有一个如下所示的数据框架。import pyspark.sql.functions as F F.when(df.device.isin(phone_list), 'phones现在，我想对代码做一些更改，在将cat列除以该id的data frame中的值之后，我希望填充列值。我试了一下，但没有得到正确的结果 df.withColu

浏览 0提问于2018-06-05得票数 0

回答已采纳

1回答

将值透视到PySpark数据框中的现有列

python、apache-spark、pyspark

我在pyspark中有一个类似下面的数据框架。from pyspark.sql.functions import col, when, lit df1 = df.withColumn(df1.device.isin(pc_list), 'pc').otherwise( F.when(df1.device.isin(security_list), 'security')))n

浏览 34提问于2018-06-06得票数 0

回答已采纳

1回答

如何比较列子集上的两个数据格式之间的所有行匹配？

python、pandas、apache-spark、pyspark、pyspark-dataframes

对于具有列标题的行和列，则保持不变。不确定这是否正确的方

浏览 0提问于2021-02-02得票数 0

1回答

多条件withColumn性能建议

apache-spark、pyspark、apache-spark-sql

这是我的代码。我得到了正确的输出，但我花费了很长时间，我觉得我重复了太多次。我的问题是，有没有另一种方法来检查数据库行是否符合我所要求的条件？提前感谢您的建议 Output = (db.withColumn('Puhelin', F.when(F.col('source_browser_platform')=='Android OS' ,F.lit

浏览 18提问于2021-02-05得票数 1

回答已采纳

1回答

火花放电雷格克斯

python、regex、pyspark

我对火花放电非常陌生，所以这里有一个非常基本的问题:所以我有一个Dataframe，它看起来如下：|I 27-May-18 10:1...|false||I 27-May-18 10:1...|false|因此，它的正则表达式是：'^[EUWI]\s' 当我把

浏览 0提问于2018-07-31得票数 1

回答已采纳

1回答

如何将电火花列(pyspark.sql.column.Column)转换为火花放电数据？

apache-spark、pyspark、apache-spark-sql

我有一个用例来映射基于条件的pyspark列的元素。通过这个文档，我找不到一个函数来执行映射函数。因此，尝试使用pyspark映射函数，但无法将pyspark列转换为dataFramedef _spar

浏览 4提问于2021-11-19得票数 0

回答已采纳

1回答

pyspark使用'in‘子句将一个RDD馈送到另一个RDD

pyspark、spark-dataframe、rdd、pyspark-sql

我有一个pyspark RDD (myRDD)，它是一个可变长度的ID列表，比如我有一个包含列ID和value的pyspark数据框架(myDF)。我想用以下查询来查询myDF： outputDF = myDF.select(F

浏览 26提问于2017-08-24得票数 0

4回答

利用isin排除对火花放电数据的过滤

python、apache-spark、pyspark、pyspark-sql

我试图获取列值不在列表中的dataframe中的所有行(因此通过排除进行过滤)。++---+---+| 2| b|| 4| c|+---+---+df.filter('bar not in ("a","b")').show() 是否有一种不为SQL表达式使用字符串或一次

浏览 0提问于2017-01-21得票数 48

回答已采纳

0回答

使用Spark中的列进行简化

python、scala、apache-spark

根据通过这些过滤器的记录，我在dataframe中添加了一个新列。请参考以下代码：val df_final = df_join.withColumn("rule_name&q

浏览 8提问于2017-06-16得票数 1

1回答

在pyspark中查找和删除匹配的列值

apache-spark、pyspark、spark-dataframe、pyspark-sql

我有一个pyspark dataframe，其中的列偶尔会有一个与另一列匹配的错误值。| 42.9399 || 2017-01-04 | 2017-01-04 |df['Date'].isin(['

浏览 2提问于2018-04-24得票数 2

1回答

如何在下面的代码中传递数组(多列)

replace、pyspark、special-characters、multiple-columns

如何传递数组列表(多列)，而不是使用以下命令在pyspark中传递单个列：eg:-filter_list = ['##', '$'] 在本例

浏览 0提问于2017-11-27得票数 0

回答已采纳

1回答

列中的搜索值

python-3.x、pyspark、pyspark-dataframes

我想搜索列是否包含值。import pysparkfrom pyspark.sql.types import * print('Yes') print('No')``` but with pysparkI

浏览 16提问于2020-09-29得票数 1

回答已采纳

1回答

带isin的Pyspark数据帧过滤器

python、pyspark

我正在尝试将我的数据帧的一个子集应用于多个条件，但我无法在pyspark中复制常规的pandas isin行为。假设我的目标dataframe是(在pandas中)：其中，string1是来自同一df的列(其他df的串联)，而look_string是具有一列和不同长度的另一df string1 =

浏览 3提问于2020-10-11得票数 1

点击加载更多