1回答
我目前正在尝试对Pyspark dataframe上的值进行透视后获得的列的别名。这里的问题是，我在别名调用中输入的列名没有正确设置。一个具体的例子：import pyspark.sql.functions as func
(217498, 100000001=false) AS ts_count#4L',
'C_(av
浏览 9提问于2017-01-25得票数 7
我正在寻找一种方法来透视具有以下结构的输入数据集，在hive或pyspark中，输入包含超过5亿条记录，对于每个emp_id，有8行和5列，所以我最终将有40列。我确实提到了this link，但是这里的透视输出列已经在数据集中了，在我的数据集中没有，我也尝试过this link，但是sql变得非常庞大(这并不重要)，但是在结果透视列需要连接到rank的地方有很多方法可以做吗
浏览 19提问于2021-09-20得票数 0
回答已采纳
,("yankees-mets",5,17),("yankees-redsox",5,10)).toDF("teams","homeruns","hits")
我希望在团队的列上旋转，对于所有其他列，返回该列的2(或N)个最高值。所以对于洋基大都会和本垒打，它会返回这个，因为他们最高的两支全垒打总数是8分和6分。谢谢
浏览 0提问于2020-09-28得票数 0
2回答
电火花码群函数中的一个错误
、、、、
我有一个，它要求我为下面的问题编写一段电火花代码。Score/Result.我写了这段代码：
game_info = spark.read.load("/content/chess/chess_wc_histor
浏览 12提问于2022-08-09得票数 0
问题就在标题中:是否有一种有效的方法来计算DataFrame中每一列中的不同值？
方法只提供计数，但不提供不同的计数，我想知道是否有一种方法可以获得所有(或某些选定的)列的不同计数。
浏览 14提问于2016-11-30得票数 39
回答已采纳
1回答
我是Spark的新手，但我正在尽可能多地阅读。我有一个小项目，其中多个数据文件(在gzip中)将每小时连续地放在一个S3存储桶中。我需要能够打开/读取这些gzip文件，并在它们之间合并/聚合数据。因此，我需要以整体的方式来看待它们。如何使用Amazon AWS提供的哪些技术和工具？我是在S3文件夹中创建临时文件，还是在内存中保留数据帧，或者使用某个数据库并在每小时后清除数据？所以，我寻找的不仅仅是一段代码，而是一些
浏览 0提问于2020-01-23得票数 0
1回答
我正在使用Microsoft.Spark Spark API并将GroupBy应用于DataFrame对象。我想在分组后将Agg应用于多个列。在pyspark中，我会用下面这样的东西来表达我想要实现的目标 new_df = df.groupBy("customer_id") func.mean("a").alias使用.NET应用程序接口，我已经设置了DataFrame，但不了解如何以类似的方式<em
浏览 18提问于2021-10-01得票数 0
回答已采纳
for target_bool in (true, false) """) 输入数据是这样的| false|+--------+------------+-------------+ 但是，当我尝试在pyspark中执行相同的操作时，我想不出如何将输出从[col_cate, true, false]重命名为[col_cate, segment_t
浏览 34提问于2020-07-06得票数 2
在R data.table中，可以通过传递列名列表(value.var=)和聚合函数列表(fun.aggregate=)对多个列进行整形。当这些列表被显式地传递给函数参数时，这种方法效果很好。sample(2,20,TRUE), 对两列d1和d1的整形操作使用传递的参数，如下所示：
dcast(dt, x + y ~ z, fun=list(s
浏览 0提问于2018-06-22得票数 3
3回答
我知道如何在一列上使用Oracle pivot。但是，是否可以将其应用于多个列？Type weight height A 60 12 C 30 15 ) A B C 我可以用sum(weight)或sum(height)替换count(*)来透视高度或体重我想要做的</em
浏览 1提问于2014-05-30得票数 23
回答已采纳
3回答
我有一个来自谷歌消费者调查的电子表格。这项调查包括了人口统计以及对一个问题的答复。可以接受的回答可以选择零或更多的“答案”。每个答案的响应都在一个独特的列中。我想知道如何将一列人口学信息与每一个可能的答案联系起来。例如，我希望能够回答像Were males more likely than females to choose X for answer 1?这样的问题
我更喜欢使用Google函数的答案，但我愿意学习其
浏览 0提问于2016-04-11得票数 0
回答已采纳
2回答
枢轴概念
、
嗨，Table File (FileID, Name, Details)
FileID, FileName, Details, (Rows of Attribute Table as Column here).也就是说，谁能给我一段Java或MySQL的代码来实现这个旋转结果。或者有没有其他更好的方法来存
浏览 5提问于2009-04-04得票数 1
我在合并两个sql表的数据后，将结果输出到HTML表的方式有问题。|+-------------+--------+--------+--------+SELECT * LEFT JOIN table2 我想我正在寻找一种使用类似GROUPBY但不<
浏览 14提问于2016-09-24得票数 1
回答已采纳
1回答
我在这里遵循了一个，使用Mysql查询来动态地将行转换为列。这很好用，但我需要在两列的基础上进行转换，| 2| 3| S| 1 | 50 || 2| 3| S| 4 | 80 || 2| P | | S | 50 |
浏览 0提问于2013-07-31得票数 8
回答已采纳
这是数据的截图。我希望每个商品ID都有一行，包含每年的购买价值和销售价值。我尝试这样做，选择了两次" year“列，对它进行了一些格式化，以便每个销售年度都以"S”为前缀，每个购买年度都以"P“开头，并使用2个旋转旋转来围绕2年的列进行旋转。下面是SQL查询(在SQL Server 2008中使用)： [P2000],[P2001],[P2002],[P2003],
[S2000MIN ([Se
浏览 4提问于2013-03-07得票数 26
回答已采纳
3回答
我正在尝试动态创建一个带有后缀的列名。我可以在for循环中这样做，但我认为这将是效率低下的。是否有一种方法可以动态地代替。
浏览 0提问于2021-05-17得票数 4
回答已采纳
1回答
如何使用动态列数将行值转换为列？
、、、、
5060,1012,100123)
,[ColumnB]FROM @DataSource我需要像这样转换：困难的部分是数据是动态的(我不知道我将拥有多少列)，并且我不能在这里使用标准的透视表，因为ColumnC中的值是不同的，因此我将拥有与ColumnC中的值一样多的列。任何类型的帮助(答案，文章，建议)都将受
浏览 3提问于2013-12-04得票数 5
回答已采纳
1回答
我有一个要求，即我必须在Spark集群的多个节点上使用Apache运行一个Windows批处理文件。在文件路径的开头添加了.bat作为ba
浏览 4提问于2016-09-15得票数 6
扫码
添加站长 进交流群
领取专属 10元无门槛券
手把手带您无忧上云
相关资讯
热门标签
云服务器
ICP备案
对象存储
腾讯会议
云直播活动推荐
腾讯云开发者
