1回答
pyspark列中的访问名
、、、、
我需要一些帮助来访问列中的名称。nullable = true)
| | | |-- value: double (nullable = true) 通过使用 cols = df.columns 我将获得根级别的所有名称的列表但是，我想访问其中的名称，例如'array_1‘。使用 df.id_1.columns 简单地返回 Column<b'array_1[columns]'> 没有名字。有没有办法
浏览 17提问于2021-09-08得票数 0
回答已采纳
1回答
如何访问PySpark数据帧中某列的某个索引处的值?例如，我想访问一个名为"Category“的列的索引5处的值。我如何在PySpark语法中做到这一点呢？
浏览 2提问于2018-03-07得票数 10
回答已采纳
我想在PySpark中进行分组，但是这个值可以出现在多个列中，所以如果它出现在所选列中的任何一列中，那么它将被分组。例如，如果我将这个表放在Pyspark中：我想总结一下每个身份证的访问和投资，结果是：请注意，ID1是前三列中有ID1的行0、1、3的总和，ID1访问= 500 + 100
浏览 4提问于2019-09-20得票数 1
回答已采纳
2回答
从列表中添加列的pySpark
、、、、
我有一个数据文件名，并希望根据列表中的值向它添加列。
我的值列表将从3-50个值变化。我是pySpark新手，我试图将这些值作为新列(空)附加到我的df中。我看到了关于如何将一列添加到dataframe中的推荐代码，而不是从列表中添加多列的代码。, 'ConformedLeaseRecoveryTypeName
浏览 2提问于2020-05-12得票数 1
回答已采纳
1回答
我想根据DataFrame中一行的第一个字符来分割文件。原始数据有一列，数据包括输入样例文件(Pyspark)：我想要一个DataFrame文件名作为数据的分割。文件名放在DataFrame的column2中
浏览 3提问于2019-10-10得票数 1
回答已采纳
我在Azure上的一个文件夹中有多个.csv文件。使用PySpark，我试图创建一个有两个列(文件名和第一行)的dataframe，文件名和第一行是为文件夹中的每个文件捕获的。我是PySpark的新手，所以我还不了解基本知识，所以我希望得到任何帮助。
浏览 2提问于2022-08-30得票数 0
回答已采纳
sample_files/column_containing_JSON_data.csv :来自F:/spark/sample_files/column_containing_JSON_data.csv的路径名pyspark.sql.utils.IllegalArgumentException不是一个有效的pyspark.sql.utils.IllegalArgumentException文件名。我给出了本地输入文件路径(如下所示)，但它正在尝试<
浏览 2提问于2021-07-23得票数 0
我在SparkR中有一个小代码，我想把它转换成pyspark。我对这个windowPartitionBy并不熟悉，并且重新分区。你能帮我了解一下这段代码是做什么的吗？
浏览 34提问于2020-12-18得票数 0
回答已采纳
我使用的是电火花作为代码语言。我添加了列以获得带有路径的文件名。from pyspark.sql.functions import input_file_name我只想从这个列中检索带有它的父文件夹的文件名。示例：
Inputfilename = "adl:/
浏览 2提问于2018-05-17得票数 7
回答已采纳
我有一张名叫result_25的桌子。我使用此代码成功地将数据导出到磁盘上的csv。但是，当我用.describe() .describe().show()检查我的.show和rr时，它们显示的不同(我以为它们是相同的)。
这里怎么了？
浏览 3提问于2018-10-01得票数 2
回答已采纳
1回答
我创建了一个dataframe，并在其中的一个列中添加了一些元数据。import pandas as pd
df=df.withColumn('a',col('a').alia
浏览 4提问于2022-02-14得票数 0
回答已采纳
1回答
我有一个要求，我需要计算配置单元表的SparkSQL中的重复行数。from pyspark import SparkContext, SparkConffrom pyspark.sql.typesHiveContext(sc)到目前为止，我已经硬编
浏览 3提问于2018-02-01得票数 11
回答已采纳
1回答
动态填充中的列名
、、、
我正在开发一个动态脚本，它可以join任何给定的pyspark。问题是文件中的列名会发生变化&连接条件的数目可能会有所不同。我可以在一个循环中处理这个问题，但是我使用一个变量名执行连接，它失败了。(我的目的是根据文件结构和联接条件动态填充a和b或更多列)a="existingFile.Id"
unChangedRecords = existingFile.
浏览 2提问于2018-02-24得票数 0
回答已采纳
我试图降低PySpark Dataframe模式的所有列名的情况，包括复杂类型列的元素名。- key: timestamp (nullable = true)但是，我只能使用下面的脚本降低列名的情况：schema = df.schema
schema.fields = l
浏览 0提问于2021-06-15得票数 0
回答已采纳
2回答
我有一个定期更新的数据集，作为一系列CSV文件接收这些更改。我想要一个只包含每一行的最新版本的Dataframe。是否有一种方法可以在火花/火花放电中加载整个数据集，从而允许并行性？,JKL 4,MNO
我知道，我可以通过顺序加载每个文件，然后使用一个反连接(用于踢出旧值被替换)和一个联合，但这并不是让工作负载是并行的。
浏览 3提问于2017-06-28得票数 0
回答已采纳
我有一个名为 createdtime 的列，其数据类型为时间戳，我希望找到创建时间为空或空或nan的行数。from pyspark.sql.functions import col,isnan,when,count
df_Columns=["
浏览 5提问于2022-06-26得票数 0
2回答
将文件名拆分为不同的列
、、、
我使用pyspark函数input_file_name将输入文件名添加为dataframe列。df = df.withColumn("filename",input_file_name())在上面的列中，我必须创建两个不同的列。DateID
我只能从上面的文件<e
浏览 2提问于2020-08-13得票数 1
回答已采纳
1回答
一位尝试理解UDF的pyspark初学者：
我有一个PySpark数据帧p_b，我正在调用一个UDF，通过传递数据帧的所有行。我想从行访问列debit。出于某种原因，这种情况并没有发生。
浏览 16提问于2019-08-16得票数 0
云服务器
ICP备案
腾讯会议
云直播
对象存储
腾讯云开发者
