0回答
折叠spark数据帧中的列值
、、、、
2016-01-051, 2016-02-152, 2016-02-012, 2016-01-10, None要做到这一点，最好的方法是什么
浏览 7提问于2017-05-31得票数 1
回答已采纳
3回答
我使用的是Spark 1.3.1。
我正在尝试查看Python中Spark dataframe列的值。有了Spark dataframe，我可以使用df.collect()来查看数据帧的内容，但在我看来，Spark dataframe列还没有这样的方法。例如，数据帧df包含一个名为'zip_code&
浏览 1提问于2015-06-30得票数 43
回答已采纳
1回答
我正在做一个使用spark的项目。在某些阶段，我需要在单个数据帧中合并或连接3个数据帧。这些数据帧来自spark sql表，我使用了联合函数，它已经合并了两个表中具有相同编号的列，但我也需要合并不相等的列值。我现在很困惑，有没有办法在pyspark中合并或连接不相等的基于<e
浏览 13提问于2016-09-22得票数 0
2回答
我想要计算数据帧Spark中列值的频率，即计算出现频率最高的values.How的等级。我们在Spark中为此定义数据帧UDF了吗？
浏览 7提问于2017-07-31得票数 0
如何联合包含不同列数的两个数据帧A和B，并为数据帧A和B中不常见的列获取空值？我可以看到spark的unionAll不支持此操作，并抛出以下错误
org.apache.spark.sql.AnalysisException: Union can only be performedon tables with the same number of columns,
浏览 0提问于2016-08-04得票数 0
我正在尝试用数据帧中某列的第一个不为空的值填充该列的空值。 我想要填充的数据帧如下所示，我希望'id_book‘列的所有行都具有相同的编号 ? 我尝试了以下方法，但仍然显示空值 w = Window.partitionBy('id_book').orderB
浏览 55提问于2021-03-16得票数 0
我有很多列的现有数据帧。如何添加一个包含0...n-1值的列(其中n是我的数据帧中的行数。当我没有任何数据帧时，我可以这样做，比如：spark.range(...).toDF。
浏览 10提问于2021-02-15得票数 0
回答已采纳
我有一个从sql server中的一个表创建的pyspark数据框架，我对它做了一些转换，现在我要将它转换为动态数据框架，以便能够将其保存为s3存储桶中的文本文件。当我将数据帧写入文本文件时，我将向该文件添加另一个头文件。这是我的动态数据框，将保存为文件：
2021_02
浏览 0提问于2021-04-23得票数 0
1回答
我想为spark数据帧的单个列中的每个字符串删除字符串的最后两个值。我想在spark数据帧中实现这一点，而不是将其移动到pandas，然后再移回来。下面是一个数据帧示例，# | age| name|# | 350|Michael|
# | 290|
浏览 1提问于2019-06-04得票数 1
2回答
在尝试用空值替换Spark dataframe的特定列的值时，我遇到了一个问题。我有一个超过50列的数据帧，其中两列是键列。我想创建一个具有相同模式的新数据帧，并且新数据帧应该具有来自键列的值和非键列中<
浏览 18提问于2018-08-29得票数 1
回答已采纳
我正在使用SparkR来处理一些在其技术堆栈中包含R和spark的项目。sdf1$result <- sdf1$value == sdf2$value
问题是当我必须比较两个不同长度的数据帧时。使用函数操作sdf1和sdf2数据帧并将<e
浏览 3提问于2017-05-18得票数 0
我正在尝试为sparklyr数据帧创建最小、最大和平均列。我只想在计算中按行使用该大型数据帧中的5列。列中有许多NaN值，这些值可能是计算对象。在标准R中，使用的代码是： df_train$MinEncoding <- spark_apply(df_train,f=min ,columns=[,EncodingFeatures], 1, F
浏览 13提问于2019-10-15得票数 1
Pbm：
a)读取一个本地文件到Panda dataframe中，比如PD_DF。b)操纵/海量PD_DF并添加列到dataframe中。c)需要使用spark将PD_DF写到HDFS。
浏览 0提问于2015-04-15得票数 4
如果我有一个只包含IP地址的宽数据帧(200m cols)，并且我想删除包含空值或格式不佳的IP地址的列，那么在Spark中执行此操作的最有效方法是什么？我的理解是Spark并行地执行基于行的处理，而不是基于列的处理。因此，如果我尝试在列上应用转换，将会有大量的混洗。首先转置数据帧</
浏览 11提问于2019-10-31得票数 1
3回答
我有一个包含多个列的spark数据帧。我想找出并删除列中有重复值的行(其他列可以是不同的)。我尝试使用dropDuplicates(col_name)，但它只删除重复的条目，但仍然在数据帧中保留一条记录。我需要的是删除所有最初包含重复条目的条目。我使用的是Spark 1.6和Scala 2.10。
浏览 4提问于2018-04-10得票数 5
回答已采纳
pandas as pdmy_df.select('field_1','field_2').show()
我想增加列宽，这样就可以看到field_1和field_2的完整值。我知道我们可以对pandas数据帧使用pd.set_option('display.max_colwidth', 80)，但它对spark数据<
浏览 2提问于2016-08-26得票数 2
我希望通过将其中一列中的regex值应用于另一列来过滤数据帧。.*在spark 1.5.1中有没有办法做到这一点？我不想使用UDF，因为这可能会导致可伸缩性问题，寻找spark原生api。
浏览 2提问于2020-03-18得票数 0
在熊猫中，这可以通过column.name来完成。>>> spark_df.columns此程序调用我<em
浏览 1提问于2016-09-28得票数 55
我有两个数据帧A和B。A有30列- reason1,reason2.......reason30现在，我需要在B中查找所有以reason*开头的列，并在数据帧A的一列中获取相应的值。因此，最终的数据帧将具有reason1,reason2.......r
浏览 9提问于2021-05-17得票数 0
我有一个很大的地理空间数据集partitionBy qk5的level 5。在每个quadkey级别的目录中，大约有1-50 Gb的数据，所以它不适合放在一个文件中。因此，我希望一个qk5分区中的文件按更高的qk分辨率排序(比方说四键级别10)。问:有没有一种方法可以在partitionBy批处理中对数据进行排序？part30000.parquet
part40000.pa
浏览 19提问于2021-09-23得票数 2
回答已采纳
云服务器
ICP备案
云直播
腾讯会议
实时音视频
腾讯云开发者
