我有一个很大的数据集，我想删除包含null值的列并返回一个新的dataframe。我该怎么做呢？例如1 | | 0在上面的例子中，它将删除整个列B，因为它的一个<
浏览 2提问于2018-07-13得票数 9
回答已采纳
我想删除DataFrame中所有非数字的列。我正在尝试复制一些Pandas代码，如下所示：对于PySpark DataFrame，我该如何做到这一点
浏览 13提问于2020-03-12得票数 0
回答已采纳
我正在尝试从pyspark dataframe中获取空值的行。在pandas中，我可以在数据帧上使用isnull()来实现这一点：但在PySpark的情况下，当我运行以下命令时，它显示Attributeerror：AttributeError：'DataFrame‘对象没有属性'isNull’。如何在不对每一列
浏览 25提问于2018-11-27得票数 5
1回答
我有一个熊猫dataframe，其中一个列包含以下值的列表 'B': [[4,5],[10,11,12], []]})
现在，我想删除列'B‘中所有空列表的行，请有人帮忙吗？
浏览 0提问于2018-10-16得票数 0
回答已采纳
我希望使用dropna()删除包含所有空值的列。使用Pandas，您可以通过在axis = 'columns'中设置关键字参数dropna()来实现这一点。这里是GitHub文章中的一个例子。我如何在PySpark中做到这一点？dropna()可以作为PySpark中的转换使用，但是axis不是可用关键字。我该如何从这个数
浏览 0提问于2020-02-11得票数 1
5回答
我正在开发一个包含n列的PySpark DataFrame。我有一组m列(m < n)，我的任务是选择其中包含最大值的列。例如：col_1 = [1,2,3], col_2 = [2,1,4], col_3 = [3,2,5]col_4 = max(col1,col_2, col_3) = [3,2,5]
正如问题中所</
浏览 7提问于2016-06-07得票数 29
回答已采纳
2回答
我遇到过这样的情况:我的列中可能有空值，需要在一个组中求和。 如果我在组中遇到null，我希望该组的和为null。但是默认情况下，Pyspark似乎会忽略null行，并对其余非NULL值求和。dataframe = dataframe.groupBy('dataframe.product', 'dataframe.price') \
浏览 87提问于2021-01-18得票数 1
回答已采纳
2回答
我需要找出pyspark dataframe中所有列中0的百分比。如何在数据帧中找到每一列的零计数？
附言:我尝试过将数据帧转换为pandas数据帧，并使用了value_counts。但是，对于大型数据集来说，推断它的观察值是不可能的。
浏览 0提问于2018-08-20得票数 4
我有一个名为 createdtime 的列，其数据类型为时间戳，我希望找到创建时间为空或空或nan的行数。from pyspark.sql.functions import col,isnan,when,count
df_Columns=["
浏览 5提问于2022-06-26得票数 0
当该行上的列值为零时，我想从行中删除该列。我不想从Dataframe中删除该列。仅当列值为零时，我才从该特定行中删除该列。我用的是Pyspark。
浏览 19提问于2020-04-09得票数 0
1回答
删除熊猫数据框架中的空列
、、、
如何删除熊猫数据帧中的空列。但是，这些空列没有任何NaN值。在运行dataframe之后，我获得了这种类型的输出。我想移除这些空列，这些列附在图像中。在我的dataframe中，没有NaN或NA值，只有空条目。
浏览 1提问于2022-03-28得票数 0
回答已采纳
df = pd.DataFrame({'Last_Name': ['Smith', Null, Null,'Joy'], 'Age': [35, 45, Null, 60], 'Salary':[200,300,Null,500})
和上面的df一样，我在真实<em
浏览 19提问于2020-03-04得票数 2
1回答
使用python和pyspark，我正在创建一个新的struct数据格式。如何测试此结构是否没有嵌套字段，如果没有嵌套字段，则删除它们？ count(data.T1.Time)
浏览 2提问于2020-01-05得票数 0
2回答
下面的DataFrame应该根据标志列进行过滤。如果基于列id和cod的组没有任何与None值不同的行，则只需要维护一个唯一的行，否则，必须删除列标志<code>E 211</code>中的None值行。import pysparkfrom pys
浏览 3提问于2022-06-30得票数 0
有一系列数值变量的pyspark数据帧。 例如 我的dataframe有一个从1到100的列值。1-10 - group1<== 1到10的列值应包含group1作为值11-20 - group2。。。91-100 group10 如何使用pyspark dataframe实现这一点？
浏览 15提问于2019-04-10得票数 1
回答已采纳
我知道PySpark DataFrames是不可变的，所以我想创建一个新列，该列是根据应用到PySpark DataFrame的现有列的转换生成的。我的数据太大了，无法使用collect()。该列是唯一int列表(在给定列表中不重复int)，例如：[1,2][2,3]
上面是一个玩具例子，因为我的实际DataFrame
浏览 9提问于2017-01-12得票数 1
回答已采纳
1回答
我是新来的火花，这可能是一个简单的问题。我有一个名为sql_left的SQL，格式如下：[Row(REPORT_ID='2016-30-15/08/2019', Stats AreaLicence Type","Unit Type",Sex order by Total_casualities desc''')
sql_result.show(20,truncat
浏览 1提问于2020-09-02得票数 0
回答已采纳
我想当userid=22650984.How在pyspark平台上更新它的价值?谢谢你的帮助。
浏览 8提问于2018-04-08得票数 11
回答已采纳
我有一个电火花数据，我想删除任何一行至少有一个NA。如何对dataframe的所有列执行相同的操作？可复制示例from pyspark.sql import SparkSessionfrom pyspark.sql.functions") \
浏览 14提问于2022-10-05得票数 1
回答已采纳
云服务器
ICP备案
云直播
腾讯会议
实时音视频
腾讯云开发者
