1回答
我目前有一个pyspark数据帧，如下所示： +--------------------++--------------------+| [1, 5, 7]|| ...| 我的目标是转换这个数据帧(或创建一个新的数据帧)，以便新数据是表中项的两个长度
浏览 12提问于2021-02-09得票数 1
回答已采纳
10回答
我试图使用现有列集上的groupby聚合来在Pyspark中创建一个新的列表列。下面提供了一个示例输入数据框架：id | date | value1 |2014-我尝试使用collect_list，如下所示：ordered_df = in
浏览 8提问于2017-10-05得票数 82
回答已采纳
2回答
选定列中值的唯一组合计数
、、、、
我有一个PySpark数据框架，如下所示：id A B C id1 on offon on on id1 on on off我正在寻找一种方法，以找到所有独特的组合，为选定的列，并显示他们的计数。on
浏览 3提问于2022-06-28得票数 2
3回答
我有一个具有多个列的pyspark数据框架如下所示：A 1 6 7D 4 9 4我希望通过将col1、col2、col3的列名和列值组合成两个新的列，例如new_
浏览 5提问于2020-02-06得票数 2
回答已采纳
我有下面的pyspark数据文件：foo = pd.DataFrame({'id': ['a','a','a','a', 'b','b','b','b'],a| 4| 2|| b| 2| 2|| b| 5| 2|我希望每个i
浏览 1提问于2022-05-16得票数 0
回答已采纳
我已经使用以下代码创建了数据框： import pyspark spark = pyspark.sql.SparkSession(sc)
data = [('A', 'B', 1), ('A', 'B', 2), ('A
浏览 12提问于2020-06-15得票数 0
1回答
将列有条件地添加到数据帧中
、、、、
我在PySpark中有一个数据帧。我想有条件地在数据框架中添加一列。
如果数据帧没有列，那么添加一个带有null值的列。如果列存在，则不执行任何操作，并返回与新数据帧相同的数据帧。如何在PySpark中传递条件语句
浏览 6提问于2017-01-20得票数 0
回答已采纳
2回答
用字符串类型创建测试数据
、、、、
我正在尝试用Int创建一个列和一个字符串类型的列来创建测试数据框架。输出与下面类似。我想我们可以用output = dataset.withColumnRenamed('id','myid')预期产出：
id.
浏览 6提问于2021-02-23得票数 0
回答已采纳
这就是我如何在pyspark中创建具有原始数据类型的数据 for i in range(3)]现在，如果我想有第三列的字典数据我想要<e
浏览 2提问于2020-05-31得票数 5
回答已采纳
我有一个数据帧和synapse表，需要将数据帧合并成一个带有增量位置的synapse表。我跟踪了不同的文档，但仍然无法在突触中合并。
你能帮我做这个吗？
浏览 3提问于2022-10-11得票数 0
回答已采纳
1回答
我们有一台unix机器，可以直接访问我们的s3桶。我们能够从unix机器上运行所有cli命令，比如"aws s3 ls“。现在，我们需要从那里读取一个文件，并使用pyspark创建一个星火数据框架。因此，现在需要对unix框进行ssh连接，并读取该文件并创建星火数据框架。
有没有人能帮助我们如何访问s3而不用使用pyspark访问关键细节。
浏览 2提问于2022-10-19得票数 0
1回答
我在从databricks中的Cosmos DB读取项目时遇到了一些问题，它似乎将JSON读取为字符串值，并将数据从JSON中读取到列中。我有一个名为ProductRanges的列，其中一行包含以下值： [ { "min": 0,
"max": 99,当导入数据时，dataframe中的<em
浏览 29提问于2019-05-13得票数 4
回答已采纳
2回答
我读过它，使用pyspark并创建了一个数据框架df。sub1,sub2,sub3b,b,a如何获得数据帧df中每列中‘a’的计数？
浏览 2提问于2019-10-07得票数 1
回答已采纳
1回答
如何从每个列创建组合数据框架？
、、、、
我正在尝试将从两个数据帧连接到单个数据帧的相同列值连接起来。102| 5rfg因此，现在我试图连接相同列的值，并创建单个数据帧。. can only zip RDD with same number of elements in each partition
我在循环-renamed_df.sho
浏览 8提问于2022-05-15得票数 -1
列表列数据结构是否是R语言中的一个概念？
列表列在数据帧的定义中是隐式的:数据帧是等长向量的命名列表。列表是向量，所以使用列表作为数据框架的列是合法的</em
浏览 2提问于2020-06-03得票数 0
我有以下在熊猫数据帧上工作的函数 def event_list(df,steps): return df DataFrame有一个名为labels的列，值为list。此函数接受dataframe和Steps (这是一个列表)，如果参数列表中的所有元素都存在于dataframe
浏览 136提问于2021-04-02得票数 1
回答已采纳
1回答
我有一个心理公园数据框架，它有字符串，整型和数组类型的列。我尝试对所有列运行for循环，以检查它们是否为任何数组类型的列，并将其转换为字符串。然后，pyspark数据框中的输出应该包含int、string列。 下面的代码将只返回从数组转换为字符串的列。如何包含else语句以从dataframe中获取不是数组类型
浏览 20提问于2021-04-11得票数 0
回答已采纳
1回答
PySpark应用程序接受一个dataframe并使用postgresql(PostgreSQL42.1.4.jar)将数据插入到"mytable“中。我使用以下方法创建id列：Postgres将该列解释为“变化的字符”。我可以看到，在读取数据()时可以调用Postgres方法，但我不确定如
浏览 0提问于2018-01-21得票数 2
回答已采纳
我希望将一个PySpark数据帧的多个列组合到StructType的一个列中。假设我有这样一个数据框架：vals = [(1, 2, 0),(2, 0, 1)]我希望生成的数据<
浏览 0提问于2018-08-14得票数 2
回答已采纳
云服务器
ICP备案
腾讯会议
云直播
对象存储
腾讯云开发者
