1回答
我有一个带有n个cols的Pyspark Dataframe (Column_1，Column_2 .Column_n)。我必须再添加一个列，其中列的集合以逗号分隔。条件:如果两个或更多的cols具有值，则填充集合列中的逗号分隔值，例如。下面是三个cols的数据。
浏览 33提问于2020-06-23得票数 1
1回答
我想检查该列中的所有值是否都为空，如果为空，则从数据帧中删除该列。
我所做的是检查具有非空值的列的计数，如果count等于0，则删除该列，但在pyspark中这似乎是一个开销很大的操作
浏览 0提问于2019-08-09得票数 0
2回答
我有一个带有多个文档的mongodb集合。我想搜索所有文档，并返回“foo”记录的每个文档实例Object 1: [$id] => 551993579285313235ebd120-250000","1"])
[zip
浏览 4提问于2016-01-30得票数 0
回答已采纳
1回答
两个相同的值
、、
我有个很奇怪的问题。我读过一个csv文件，其中一些列同时具有空值和空值。我试图查找每行值相同的列，但最后得到如下结果：df.select(trim(lower(col("
浏览 2提问于2022-03-17得票数 0
我正在尝试从pyspark dataframe中获取空值的行。在pandas中，我可以在数据帧上使用isnull()来实现这一点：但在PySpark的情况下，当我运行以下命令时，它显示Attributeerror如何在不对每一列进行检查的情况下获取具有空值的行？
浏览 25提问于2018-11-27得票数 5
我正在构建一个rails应用程序，其中集合中的一些文档将包含地理信息。我想在数据库中为这些文档编制索引，这样我就可以快速地获取那些具有非空值的文档。我不需要地理位置的值，所以其中一些是空的。索引应该只保存具有非空坐标的记录。地理信息的列是latitude和longitude。
浏览 1提问于2014-03-20得票数 0
4回答
我有一个场景，其中我有4列--子品牌、集合、PLCYCLE、COLORFAMILY，我必须为记录指定优先级：
如果其中任何2个具有有效值(非空白或非</em
浏览 0提问于2018-12-20得票数 2
回答已采纳
我正在使用filter函数来查找非空值，这是经典的： =FILTER(A2:A99, NOT(ISBLANK(B2:B99))) 要查找B列中具有非空值的所有A列标题，请执行以下操作： 但我也希望始终包括最后一个值ISBLANK，类似于： =FILTER(A2:A99, (CELL("address",A2:
浏览 10提问于2020-03-28得票数 1
回答已采纳
1回答
我有一个具有可空列集合的表。我需要做的是‘移位’这些列“左”，这样第1列包含第一个非空值，第2列包含第二个非空值，等等。bar, <null>, <null>, <null>, <null>
foo, bar, baz, <null>, <
浏览 0提问于2018-03-15得票数 0
回答已采纳
我在pyspark中有一个超过300列的数据框架。在这些列中，有一些列的值为null。_2null null125 124and so on
当我想对column_1求和时，我得到的结果是一个空值现在，我想用空格替换数据框所有列中的null。
浏览 1提问于2017-02-18得票数 56
回答已采纳
我有一个PySpark DataFrame，类似：------------|201 |efgh ||133 |mnop|mylist = ['abcd', 'ijkl', 'efgh', 'efgh', 'abcd', 'ijkl', 'ijkl']
我希望使用pyspar
浏览 2提问于2019-08-20得票数 1
回答已采纳
import pyspark.sql.functions as F我想使用一个窗口函数来查找4个周期前的列的值。假设我的数据(df)如下所示(实际上我有许多不同的ID)：a | 200 | 2
a | 300(df['value'],
浏览 0提问于2018-11-20得票数 3
我得到的代码来自这个链接：https://johnpaton.net/posts/forward-fill-spark/它有一些我想要完成的任务的背景。from pyspark.sql import Windowwindow = Window.partitionBydo the fill
spark_df_filled = spark_
浏览 13提问于2020-04-28得票数 1
回答已采纳
我正在寻找一种从表中选择一组行的有效方法，对集合执行一些检查(如计数)，然后移到下一组行。例如，下表中有一个列"PACKAGE_ID“。第一个记录的ID为1A，接下来的2个记录没有任何ID --这意味着它们是1A包的一部分。
在这个特殊<
浏览 0提问于2017-09-08得票数 1
回答已采纳
1.32 2.1 1.3 0 5.64 我希望获得在相同列中具有非空值的行，如行0和2，然后是行1和3，因为它们在相同列中具有非空值。非空值可以不同
浏览 10提问于2021-04-21得票数 1
回答已采纳
4回答
我在oracle数据库中有很多列，一些新的列是用值添加的。我喜欢找出哪些列的值不是0或null。因此，我要查找的列名至少有一行中存在某种有用的值。更新:这听起来非常接近。我如何修改它以满足我的需求？
浏览 0提问于2011-04-06得票数 1
回答已采纳
我正在尝试对包含空值的列的数据帧使用sparkML库的standardScaler。我想保留NULL值，但是当我使用带有mean的标准缩放器时，具有NULL值的列的平均值也变成了null。有没有办法让标准的定标器跳过均值计算的空值(就像向量汇编程序中的han
浏览 37提问于2021-06-24得票数 2
回答已采纳
2回答
我有一个包含空值的dataframe： (125, '2012-10-10','tv'), (40, '2012-10-10( None, '2012-10-10','tv')]
df = spark.createDataFrame(data, ["Sales", "date","p
浏览 1提问于2018-02-06得票数 3
回答已采纳
我有一个这样的PySpark数据帧， +----------+------+------+------+------+------+------+------+------+------+---------------------------------------------------------------------------------------------------- 从这些数据中，我想找到每一行的最新非空值。我用过， df.select([last(
浏览 19提问于2019-08-29得票数 0
回答已采纳
云服务器
ICP备案
腾讯会议
云直播
对象存储
腾讯云开发者
