1回答
在我的"data“数据框中，我有两列，”time_stamp“和”hour“。我想在缺少'time_stamp‘值的地方插入'hour’列值。我不想创建新列，而是在'time_stamp‘中填充缺少的值 我想要做的是将这个pandas代码替换为pyspark代码： data['time_stamp'] = data.apply(lambda
浏览 8提问于2019-03-21得票数 0
回答已采纳
1回答
NULL 0.092020-11-05 2 3 0.41 我想创建一个"Ratios_latest“列。为此，我应该向下查看每个客户端的" value“列的值。这将是我的"Ratio_latest“列值。我根据上面的数据分享了期望的输出； Date Client Values Ratios Ratios_latest
2020-10-26 1 NU
浏览 35提问于2021-01-11得票数 0
回答已采纳
我有一个包含"CUSTOMER_MAILID“、"OFFER_NAME”、"OFFER_ISAPPLIED“列的数据帧。amit1185@gmail.com|Jaipur Pink Panth...| N|
如果"OFFER_ISAPPLIED“列有一些值，我想用"Y”更新"OFFER_NAME“列值
浏览 0提问于2016-11-14得票数 1
1回答
我正在使用spark DataFrame，我希望检测来自特定列的任何值，其中该值不是单调递减的。对于这些值，我想根据排序条件将它们替换为以前的值。下面是一个概念性的示例，假设我有一个值为[65, 66, 62, 100, 40]的列。值"100“不遵循单调下降趋势，因此应替换为62。因此，结果列表将是[65, 66, 62, 62, 40]。下面是我创建的一些代码，用于检测必须替换的值，但是我不知道如何用前一个值替换该值，也不知道如何忽略lag中的初始null
浏览 15提问于2020-02-14得票数 1
回答已采纳
看一下pyspark，我看到translate和regexp_replace可以帮助我处理存在于数据框列中的单个字符。我想知道是否有一种方法可以在regexp_replace或translate中提供多个字符串，以便解析它们并用其他东西替换它们。
用例:删除A列中的所有$、#和逗号(，)
浏览 0提问于2018-06-09得票数 10
回答已采纳
因此，目前，我有一个带有三列的星火DataFrame，我希望根据其他三列是否包含空值来添加第四列，名为target。PASS |如果column_1、column_2、column_2都为null，我希望传递目标列中的值最初，我认为UDF或Pandas会起作用，但据我所知，在使用UDF之前，您应该使用PySpark函数，因为它们在计算上非常昂贵。由于我是
浏览 9提问于2022-06-06得票数 0
2回答
Bvitoria_argos.csv', na_values=[' -99999.0'])HS Tp2.0 11.3nan 5.9目标是根据''HS'‘值替换''Tp'’列中的值，并得到如下内容：3.0 12.0nan nan5.6 7.0c.loc[c.HS==
浏览 0提问于2017-07-17得票数 0
我试图根据pyspark数据格式中的ID列对列进行分组，并根据另一列的值对列进行求和。对于sales，我知道可以这样做：df = df.groupBy("ID").agg(F.sum("amount").alias("sales"))
对其他人来说，我猜F.when会很有用，但我不知道该怎么做。
浏览 1提问于2019-06-13得票数 0
回答已采纳
5回答
查看新的spark API，还不清楚是否有可能修改DataFrame列。from pyspark.sql import functions as F
df = df.withColumn('new_column_name
浏览 12提问于2015-03-17得票数 95
回答已采纳
1回答
是否可以找到完整PySpark数据的哈希值(最好是散列256)。我不想找到单个行或列的散列。我知道pySpark中存在函数，用于从pyspark.sql.functions导入sha2进行列级哈希计算。读取数据中的数据，通过SoldDate进行分区，计算每个分区的散列，并将其写入文件/表。输出：
浏览 8提问于2022-12-04得票数 0
1回答
我的数据库包含一列字符串。我将根据其他列的一部分创建一个新列。然后，我对列"content“进行迭代，提取要插入新列的单词： column=[] column.append(word) return pd.Series(column)
浏览 6提问于2022-01-26得票数 0
回答已采纳
null3 | 3 | 1这意味着它将groupBy id, category并创建虚拟列。pivoted_df = df.groupBy("id") \ .agg(F.lit(F.col("value")))pyspark.sql.utils.AnalysisExceptionAggreg
浏览 3提问于2022-03-24得票数 0
回答已采纳
我有一个包含5列的pyspark数据帧:Id、值X、X的上下限和更新日期(此数据帧按"Id，update“排序)。07|2018-12-17|2018-11-17|
| 2|2018-12-15|2018-12-07|2018-12-17|2018-11-18| 当"X“小于"LB”或大于"UB“时，将根据
浏览 26提问于2019-03-25得票数 0
1回答
我对PySpark相当陌生，但我正在尝试在代码中使用最佳实践。我有一个PySpark数据格式，我想延迟多个列，用滞后值替换原始值。我想根据ID获取所有值，按date排序，然后对值进行一定程度的滞后。我到目前为止掌握的代码：
window = Window.partitionBy(F.col("ID"))我遇到的问题是，据我所能找到的，F.lag只接受一个列
浏览 3提问于2022-01-04得票数 1
回答已采纳
我已经在现有的数据框中添加了一个新列，但它没有反映在数据帧中。customerDf.withColumn("fullname",expr("concat(firstname,'|',lastname)"))有没有办法向现有的dataframe添加一个新的列(我们在pyspark中有没有类似的功能？
浏览 4提问于2021-01-26得票数 0
1回答
pyspark列字符替换
、、、
我决定的代码是有效的，但是对于一个超过350列的excel表格来说，实际上是inefficient....like 5个小时。我需要另一种更有效的方法来减少运行时间。
浏览 2提问于2021-06-04得票数 0
我刚接触pyspark，我想在pyspark dataframe列中动态地用数字替换名称，因为我的dataframe中有超过500,000个名称。如何继续？
浏览 9提问于2019-07-25得票数 0
我想遍历pyspark dataframe中的每一行，并根据另一列的内容更改列的值。我要将其更改为的值也基于要更改的列的当前值。具体地说，我有一列包含DenseVectors，另一列包含我需要的向量的索引。 或者，我也可以用DenseVector中两个值中较大的一个替换DenseVector。我主要尝试将F.when()与withColumn结合使用，但F.when()的第二个元素遇到了麻烦，因为我想存储向量的正确索引，但不能直接对列
浏览 11提问于2019-04-25得票数 2
回答已采纳
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
