我正在尝试创建一个for循环，首先:过滤一个pyspark sql数据帧，然后将过滤后的数据帧转换为pandas，对其应用一个函数，并将结果添加到一个名为results的列表中。我的列表包含一个字符串序列(这将是dataframe中的某种id )；我希望for循环在每次迭代中从列表中获取一个字符串，并过滤dataframe中id为该字符串的所有行。示例代码： results = []
浏览 21提问于2020-12-16得票数 1
回答已采纳
我的PySpark DataFrame df有一个列unix_timestamp，它是以秒为单位的时间戳。strftime("%Y-%m-%d %H:%M:%S")
df = df.withColumn("unix_timestamp", df.unix_timestamp.cast("timestamp")).filter
浏览 2提问于2017-11-23得票数 0
回答已采纳
1回答
我希望用pyspark和spark dataframe做同样的事情。我知道我必须使用窗口函数，但它比熊猫更难理解，所以我迷路了…… 我有这个，但我不知道如何让它工作。
浏览 29提问于2020-06-26得票数 0
回答已采纳
1回答
在使用向量过滤数据帧时，我遇到了让grepl进行精确匹配的问题。然而，我似乎不能让它在循环中工作。[i],My_vehicles)) } 如果我更改了 filter(grepl(my_vector[i],My_vehicles)) 至 filter(grepl("\\bmy_vector[i]\\b",My_vehicles)) 我没有得到正确的结果。我想要的是从<e
浏览 12提问于2021-01-22得票数 0
回答已采纳
1回答
获得了以下pyspark代码：).count()
在测试代码中，数据帧是模拟的，所以我尝试为这个调用设置return_value).filter(ANY).cou
浏览 11提问于2019-11-02得票数 12
回答已采纳
在Pandas dataframe中，我可以使用data.iloc[1:1000,:]获取前1000行。如何在PySpark中做到这一点？
浏览 24提问于2021-01-11得票数 1
回答已采纳
我有两个数据帧，其中一个来自必须过滤Category的地方，另一个来自它所做的条件过滤。Avg这里的输出将是Category因为它满足dataframe_1中的所有条件dataframe_2.select(&
浏览 0提问于2021-09-06得票数 0
免责声明:我对pyspark非常陌生，这个问题可能不合适。age where age = 22 in SQLtemp = spark.sql("SELECT core_id from df"这可以在py
浏览 30提问于2020-06-17得票数 1
display(NAMES)输出我还有一份学生，print(students)的名单问题
基于这个列表(学生)，我如何循环使用
浏览 0提问于2018-08-02得票数 4
回答已采纳
1回答
我有一个带有时间戳类型列的PySpark (2.3.0)数据帧：+-------------------++----------08:14:47|>> df.printSchema()|-- column: timestamp (nullable = true)import datetime
浏览 70提问于2018-06-08得票数 4
回答已采纳
我尝试做的是根据较大数据帧中第一列的值将较大的数据帧过滤成78个唯一的数据帧。我能想到的唯一正确的方法是在for()循环中应用filter()函数： {x1 = filter(rawdta.df, Plant_Line == plantline$Plant_Line[i])}
问题是我不知道如何创建一个新的
浏览 0提问于2018-07-25得票数 0
我有一个值的数据帧，并希望使用两个向量来指定在数据帧中的值之间进行过滤的位置，然后将每个过滤器的输出添加到列表中。data.frame(x = 1:20)
v1 <- c(3,8,18)
mydata <- mydata %>%
fil
浏览 31提问于2021-08-06得票数 1
回答已采纳
我正在尝试使用"isin“过滤pyspark中的数据帧，还尝试了另一种过滤方法。Second way :
df2.filter我还必须执行一个“不在”
data_array = np.a
浏览 12提问于2021-03-23得票数 0
1回答
我有一个十亿行的食品数据库，例如：2017-01-01,bagel,bread,103.Generate 1 row of stats and appends to summary file
我需要在迭代循环中添加什么才能触发多处理？pyspark
浏览 10提问于2018-03-04得票数 0
我正在Databricks notebook上编写pyspark脚本来插入/更新/查询cassandra表，但是我找不到从表中删除行的方法，我尝试了spark sql： spark.sql("DELETEfrom users_by_email where email_address IN ('abc@test.com')") 我也不认为使用dataframe删除数据是可能的。
浏览 25提问于2019-12-17得票数 0
回答已采纳
我正在使用PySpark从mongo获取数据帧并进行一些过滤。当我在大约5000条记录上运行时，一切都很好，但当我在大约17万条记录上运行同样的东西时，它不是在数据帧上过滤记录，而是在mongodb上运行过滤，这使得它太慢了。= '')
浏览 11提问于2020-03-01得票数 0
1回答
我在pyspark数据框中有一列表示电子设备的年龄，这些值是以毫秒为单位给出的。有没有一种简单的方法将该列的值转换为年份？我不是很精通Spark。编辑:我知道你可以很容易地用基本的数学将毫秒转换为年，我正在尝试获取pyspark数据帧的一列，并迭代它，并将所有列值转换为不同的值。有没有一个特定的pyspark函数可以让这一切变得更容易？我有一个列，其中所有的值都是以毫秒为单位的非常大的整数，我试图根据设备的寿命过滤掉太小或太大而<em
浏览 17提问于2021-05-20得票数 1
1回答
我有如下所示的数据用户提供一个值，我想从该值上方的所有行中计算元组中第二个数字的平均值。
例如:假设值为10，我想取" value“列中值大于或等于10的所有行，并计算这些行的平均值。
浏览 4提问于2020-03-28得票数 1
回答已采纳
我有一个从parquet读取的数据帧，值如下 +-----------------------++-----------------------+-01-03 00:00:000.0| |-- date_col: timestamp (nullable = true) 我试图将不正确格式化的日期过滤到单独的数据帧中，err_df只是一个具有相同模式的空数据</e
浏览 28提问于2020-01-24得票数 0
云服务器
ICP备案
云直播
对象存储
实时音视频
腾讯云开发者
