我使用的是pyspark 3.0.1。我有一个包含以下详细信息的dataframe df32 1 2016-01-09 2016-01-2633 1 2016-01-16 2016-01-05
我需要替换dateEnrolled，我最近的两个日期字段&我的数据应该如下所示
浏览 4提问于2021-02-26得票数 0
回答已采纳
1回答
我有两个列的大数据集，我使用spark和pyspark模块来分析数据集。我试着用“日期”列和“计数”栏绘制线条图。但日期列包括4年的详细情况，但这些都是不整齐的(按日计算)，日期是混合的。所以，首先我想重新安排日期，过去到现在。而这个日期列，数据类型是字符串。如果我是如何在日期类型值<
浏览 3提问于2020-04-18得票数 1
回答已采纳
我有一个显示日期的两列的星星之火(date1和date2)。我想知道这两个日期(+ 1周)之间的相对周数。为了做到这一点，我找出每一个日期的周，并减去这两个日期。date2总是一个较早的约会。两个日期之间最大的差异是最多1年，所以如果date2来自前一年，我需要在解决方案中添
浏览 1提问于2018-05-21得票数 2
回答已采纳
2回答
用电火花替换结构型柱的空白点
、、、、
我有一个用例，希望用空值替换StructType列中的空值。下面是示例，您可以使用它重新创建场景： ),)
我想知道如何在
浏览 3提问于2022-01-31得票数 1
回答已采纳
我有一个包含id列、事件日期列和in_event布尔值的数据集。事件日期中可能包含日期值。[[1,None],[2,'01-01-2018'],[3,None],[4,'01-02-2018']]1, None, False3, No
浏览 0提问于2019-09-15得票数 1
我想遍历pyspark dataframe中的每一行，并根据另一列的内容更改列的值。我要将其更改为的值也基于要更改的列的当前值。具体地说，我有一列包含DenseVectors，另一列包含我需要的向量的索引。 或者，我也可以用DenseVector中两
浏览 11提问于2019-04-25得票数 2
回答已采纳
1回答
我使用的是PySpark版本3.0.1。我正在将csv文件读取为具有2个日期列的PySpark数据帧。但是，当我尝试打印模式时，两列都被填充为字符串类型。 ? ? 上面附加的屏幕截图是Dataframe和Dataframe模式。 如何使用pyspark将date列中的行值转换为时间戳格式？我已经尝试了很多东西，但所有的代码都需要当前
浏览 16提问于2020-12-30得票数 2
1回答
是否可以找到完整PySpark数据的哈希值(最好是散列256)。我不想找到单个行或列的散列。我知道pySpark中存在函数，用于从pyspark.sql.functions导入sha2进行列级哈希计算。读取数据<em
浏览 8提问于2022-12-04得票数 0
我正尝试在Pyspark的数据框中创建一个名为load_time_stamp的新列，它应该只包含截止到几秒的日期和时间，而不应该包含毫秒。我已经写了下面的代码来做同样的事情，但是在这个过程中，一个新的列是用null值创建的，而不是我期望的时间戳值。from pyspark.sql import
浏览 0提问于2021-02-22得票数 1
我刚接触pyspark，我想在pyspark dataframe列中动态地用数字替换名称，因为我的dataframe中有超过500,000个名称。如何继续？
浏览 9提问于2019-07-25得票数 0
1回答
在我的"data“数据框中，我有两列，”time_stamp“和”hour“。我想在缺少'time_stamp‘值的地方插入'hour’列值。我不想创建新列，而是在'time_stamp‘中填充缺少的值 我想要做的是将这个pandas代码替换为pyspark代码： data['t
浏览 8提问于2019-03-21得票数 0
回答已采纳
当我们有超过3个节点来分发数据时，pyspark.sql.functions下的"last“函数在spark上返回不一致的结果。from pyspark.sql.types import DoubleType
numeric = sqlContext.createDataFramecolor").agg(F.last("v1").al
浏览 1提问于2017-02-02得票数 1
3回答
我有一个带有几个列的Server表。夜数始终是一个两个字符的varchar列，其值如1N、2N、3N等，取决于最多7N的夜晚数。我想从日期中减去1N列的1部分。显然，我将用实际的列名替换'1N‘。我试着做了个
浏览 5提问于2016-05-03得票数 2
回答已采纳
1回答
其目标是创建一个名为“搅动”的列，并使用它来通知当Id在“使用”列中连续超过30天保持为" false“时，它是否正确或错误。我已经尝试过使用窗口功能，但没有成功。
浏览 3提问于2022-11-25得票数 0
回答已采纳
1回答
我对pyspark是个新手，正在做我的第一个spark项目，我面临着两个问题。a)无法使用以下方法引用列b)不能将我的spark数据帧中的值替换为聚合值，如meanfrom pyspark import Sp
浏览 3提问于2017-09-28得票数 0
1回答
我需要一个格式化的表格，其中第一行是连接的日期，其余所有行都是由逗号分隔的两个值。但是，将文件另存为.csv时，连接的日期后会有一个逗号 有人知道如何删除R中第一行的逗号吗？，其中第一行是连接的日期，其余所有行都是由逗号分隔的两个值，如下所示： 19810101
11,1,2.5 等, 我在R中</
浏览 22提问于2019-04-25得票数 1
逻辑1我有一个列，上面有不同类型的值，文本字符串和日期字符串在同一列中，我需要将它分成两列，一列包含文本字符串值，另一列包含日期字符串值。逻辑2或只是替换文本值或日期格式值，问题是整个列都是“文本类型列”，而我只需要替换日期</em
浏览 8提问于2021-05-30得票数 0
回答已采纳
1回答
我正在使用spark DataFrame，我希望检测来自特定列的任何值，其中该值不是单调递减的。对于这些值，我想根据排序条件将它们替换为以前的值。下面是一个概念性的示例，假设我有一个值为[65, 66, 62, 100, 40]的列。值"100“不遵循单调下降趋势，因此应替换为62。因此，结果列表将是[65, 66,
浏览 15提问于2020-02-14得票数 1
回答已采纳
3回答
我试图用PySpark中的0值替换原始数据中的句号。
from pyspark.sql import functions as F
dataframe2 = dataframe1.withColumn("test_col它应该只用数字重写<em
浏览 8提问于2019-09-01得票数 1
1回答
我正在处理一个数据集，其中包含有关该特定项目的售出数量的逐项日期信息。然而，在“售出的数量”一栏中有一些负值，我打算将其归因于此。这里使用的逻辑是将这些负值替换为日期级别的每个商品的售出数量的模式。我已经计算了售出数量的每个不同值的计数，并获得了特定项目在每个给定日期的最大售出数量。但是，我找不到一个函数，可以用每个商品的最大售
浏览 30提问于2021-06-26得票数 0
云服务器
ICP备案
腾讯会议
云直播
对象存储
腾讯云开发者
