1回答
我正在尝试根据值列表从dataframe中过滤，并且我能够按照示例1中给出的方式运行它。但是，当我将元素转换为列表，然后将列表传递到过滤器函数中的'isin‘函数时，它不起作用(如示例2所示)。given_list = List("abc","def","ghi")
val df3 = df1.filter(su
浏览 2提问于2019-10-23得票数 0
回答已采纳
3回答
我正在尝试根据列中的值是否等于列表来过滤Spark数据帧。我想做这样的事情：其中filtered_df仅包含filtered_df.a的值为['list','of' ,
浏览 1提问于2016-03-25得票数 13
回答已采纳
2回答
我有一个形状为600000，19的数据帧。我想根据一个条件过滤前100000行，根据另一个条件过滤下一个300000行，最后一行过滤第三个条件。我想知道如何做到这一点。目前，我将数据帧分成3个段，并应用它们各自的条件。然后，我重新连接数据帧。有没有更好的方法？
示例:
浏览 15提问于2019-03-27得票数 4
回答已采纳
2回答
所以我有一个数据帧，它有一个列，file_date。对于给定的运行，数据帧只有一个唯一file_date的数据。例如，在一次运行中，让我们假设大约有100条记录的file_date为2020_01_21。/分区，因为很可能会重新运行特定文件的数据，并且必须覆盖特定FILE_DATE _ file_date的数据。不幸的是，在上面的代码<
浏览 4提问于2020-01-22得票数 4
我有两个大的数据格式，一个有由id b标识的所有事件，一个id列表。我想使用spark 2.0.0中的stat.bloomFilter实现根据b中的I筛选a
但是，我没有看到dataset API中有任何操作可以将bloom过滤器加入到数据帧中。val in1 = spark.sparkContext.parallelize(L
浏览 2提问于2017-02-01得票数 6
回答已采纳
我正在使用数据帧，并且我遇到了这些术语。如果可能的话，我不能完全理解它们，你能在这两个方面都举一个例子吗？
浏览 8提问于2020-05-07得票数 0
我需要用下面的条件过滤一个数据帧。 我有2列4Wheels(斯巴鲁，丰田，通用，空/空)和2Wheels(雅马哈，哈雷，印度，空/空)。我必须过滤4Wheels的值(斯巴鲁，丰田)，如果4Wheels包含空/空，那么过滤2Wheels的值(Yamaha，Harley) 我在不同的例子中找不到这种类型的过滤。我是<em
浏览 12提问于2021-08-19得票数 0
我有一个spark数据帧: df：-------------------| 2 | 2019 | 03 || 3 | 2020 | 01 |val year_map根据每次运行的代码动态生成我想根据year_month序列为序列year_month中的</
浏览 1提问于2021-04-05得票数 0
我想根据sqlFilter过滤数据帧df，即现在，我想要一个由过滤器从df中删除的10个I的列表。我的猜测是，这可以更快地实现，因为spark只需要为每个分区都有一个列表，并在filter删除行并且列表包含的元素少于10个时向列表添加一个id。一旦
浏览 69提问于2018-07-05得票数 3
回答已采纳
我有一个数据帧，如果我知道确切的值-使用.isin() -但当我想使用通配符时-类似于.like('%condition%') -过滤似乎不起作用，我想根据conditions.This列表过滤行。否则，我将不得不遍历这些条件，并为每个条件添加一个like过滤器。我已经尝试了在条件列表中使用和不使用*来解压它： filter_out_condi
浏览 23提问于2020-07-22得票数 1
回答已采纳
我试图在我的数据帧上添加一个过滤器，由于某些原因，||条件在Java中不起作用，它在Scala中工作得很好。代码甚至不能编译。在java中如何在过滤条件中使用||运算符The operator || is undefined for the argument type(s) org.apache.spark.sql.Column, org.apache.spark.s
浏览 6提问于2018-08-01得票数 0
回答已采纳
1回答
这是我的partitionBy条件，需要根据数据框中的列值进行更改。val windowSpec = Window.partitionBy("col1", "clo2","clo3").orderBy($"Col5".desc)
现在，如果数据帧中的一列(col6)的值为但是当列(C
浏览 1提问于2017-11-20得票数 1
我想根据条件从列表的spark数据帧中删除行。条件是列表的长度是一定长度。我曾尝试将其转换为列表列表，然后使用for循环(如下所示)，但我希望在spark内的一条语句中完成此操作，并基于此条件从原始df创建一个新的不可变df。是一个单列dataframe，而该列被命名为sequences，则它
浏览 25提问于2019-04-30得票数 0
回答已采纳
我有一个包含n条记录的oracle表，现在我想用where/filter条件加载该表中的数据，以触发数据帧。我不想将完整的数据加载到数据帧中，然后对其应用过滤器。在spark.read.format("jdbc")...etc或任何其他解决方案中有什么选项吗？
浏览 39提问于2020-04-23得票数 1
1回答
我需要根据数据帧中的一些条件创建过滤条件。我被困在这里了。你能帮我解决我的问题吗？提前感谢！11 jnj_id 71241663 operator <=
4 start_dt 05/10/2018 使用上面的数据帧，我需要创建下面的过滤器查询： kol_id = '
浏览 9提问于2020-09-22得票数 1
回答已采纳
我是spark的新手，有一个关于基于空条件过滤数据帧的问题。我已经看过很多答案，它们的解决方案如下 df.filter(($"col2".isNotNULL) || ($"col2" !== "NULL")) 但是在我的例子中，我不能写硬编码的列名，因为我的模式是不固定的。我正在读取csv文件，根
浏览 69提问于2020-06-18得票数 3
回答已采纳
1回答
我将拥有一个包含列ID的数据集。我将数据帧过滤成冬季和夏季。我想根据ID进一步拆分数据。在我的实际数据集中有超过100个ID，所以我不想创建100个数据帧。相反，我想做一个数据帧列表。我使用了group_split函数来做这件事，但是列表的数量在冬季和夏季之间并不均衡。我确信，冬季和夏季的身份
浏览 4提问于2021-04-28得票数 0
回答已采纳
我在python中有一个根据时间戳过滤的SQL查询，但是时间戳会根据数据帧中的值进行更改。(SELECT [ID],[Timestamp],[Value] FROM [table] Where [Timestamp] >= '2021-10-13') alias"""
big_df = spark.read.formatdriver).option("
浏览 13提问于2021-10-19得票数 0
我正在开发一个程序，在该程序中，我需要根据特定条件显示数据集中的特定行。这些条件适用于我为机器学习模型创建的features专栏。这个features列是一个向量列，当我试图通过传递一个Vector值来过滤它时，我得到了以下错误：
Exception in thread "main" java.lang.RuntimeException: Unsupported literal type class org.apa
浏览 1提问于2017-07-07得票数 2
2回答
我在使用groupby条件的结果过滤数据帧时遇到了问题。我已经尝试在isin()中使用掩码，但它并不只返回配对的条件。MCO IND 6.0... .... ... ...
7009710 ATL MSP 30.0 我想使用groupby条件的结果来过滤它index.to_list() top_5_route： [('LAX
浏览 24提问于2019-02-24得票数 1
回答已采纳
云服务器
ICP备案
腾讯会议
云直播
对象存储
腾讯云开发者
