1回答
我正在尝试计算数据帧中每一行的列之间的百分比差异。这是我的数据集： ? 例如，对于第一行，我试图获得2016年与2015年的变化率，2017年与2016年的变化率……只应删除2015和2019，以便它们在末尾将是5列。
浏览 23提问于2021-01-02得票数 0
回答已采纳
我在pyspark中有以下代码，从而生成一个表，显示列的不同值及其计数。我希望有另一列显示每一行所代表的总数的百分比。我该怎么做？
浏览 0提问于2018-09-11得票数 14
回答已采纳
我有一个带有n个cols的percentage ( df )，我想要生成另一个n cols的df，其中每一列都记录相应的原始df列中的b/w连续行的百分比差。新df中的列标题应该是旧dataframe + "_diff“中相应的列标题。使用下面的代码，我可以为原始df中<e
浏览 0提问于2018-05-31得票数 0
回答已采纳
我对PySpark结构化流有以下问题。
流数据中的每一行都有一个用户ID和一个时间戳。现在，对于每一行和每个用户，我想添加一个带有时间戳差异的列。例如，假设我收到的第一行是："User A，08:00:00“。如果第二行显示"User A，08:00:10“，那么我想在第二行中添加一个名为"Interval”的<em
浏览 0提问于2019-11-14得票数 1
1回答
我有一张这样的桌子 | fruit|fruit_number| | apple|melon| 31| |banana| 4|我想生成每一行的百分比，但当我对百分比列求和时，我无法获得100%。这里是我在pys
浏览 0提问于2016-10-20得票数 2
我正在尝试对两个数据格式中的每一行应用pyspark函数散列算法来识别差异。散列算法是基于字符串的，所以我尝试将任何数据类型转换为字符串。我在日期列转换中面临大多数问题，因为在转换为字符串之前，需要更改日期格式，以使基于哈希的matching.Please保持一致，帮助我完成该方法。#Identify the fields which are not strings
from <e
浏览 1提问于2018-02-02得票数 0
回答已采纳
3回答
我正在尝试对两个数据帧中的每一行应用pyspark sql函数散列算法，以确定差异。哈希算法是区分大小写的.i.e。如果列包含'APPLE‘和'Apple’被认为是两个不同的值，所以我想将两个数据帧的大小写都改为上或下。
浏览 41提问于2018-02-01得票数 6
回答已采纳
import skew
skew(val)
利用excel对斜率进行计算，将每一行的值排列成一列，并使用斜率函数为什么偏斜值会有差异？同样的事情也发生在熊猫和火种身上。用pyspark计算偏斜时，其结果与scipy相同，用pandas计算时，其结果与excel相同。
浏览 0提问于2020-05-30得票数 0
df1 2 100 50 603 4 50 50 75
我想对所有的列都这样做，并将百分比差异放到一个新
浏览 2提问于2016-05-29得票数 0
回答已采纳
2回答
我需要找出pyspark dataframe中所有列中0的百分比。如何在数据帧中找到每一列的零计数？
附言:我尝试过将数据帧转换为pandas数据帧，并使用了value_counts。但是，对于大型数据集来说，推断它的观察值是不可能的。
浏览 0提问于2018-08-20得票数 4
1回答
team 2 50 50new york team 2 30 70然而，我实际上有成百上千的指标，比如“得分”。在合并完成并追加_x和_y之前，如何找到合并后的df中具有相同键的
浏览 1提问于2018-02-12得票数 1
回答已采纳
我在PySpark中有两个PySpark：[(u'2013-01-31 00:00:00', u'a', u'Pab', u'abc', u'd'),(u'2013-01-31 00:00两个RDDs都有相同的数字或行。现在，我要做的是从RDD1(从unicode转换到普通string)和RDD2中每一行的第二列
浏览 7提问于2015-12-07得票数 5
1回答
我试图将多个列作为一个udf (使用pyspark.sql.functions.struct())传递给一个StructType。在这个udf中，我希望获得作为list传递的struct列的字段，这样我就可以对每一行遍历传递的列。
基本上，我正在寻找这个答案- 中提供的scala代码的pyspark版本。
浏览 1提问于2019-09-04得票数 1
回答已采纳
1回答
用火花放电流到HBase
、、、
在线上有相当数量的关于使用Scala进行星火流的批量加载的信息( 是特别有用的)，以及一些用于PySpark的信息，但是使用PySpark似乎缺乏这样的信息。所以我的问题是：
任何语言中的大多数示例都只显示每一行上的一个列。如何在每
浏览 2提问于2016-01-29得票数 3
1回答
我有一个数据框架，如下所示：1 1 53 1 7对于每一行，我希望计算两个事件之间集中度的百分比差异，并将其添加到新列中。例如:对于ID=1我需要帮助如何为每个单独的行指定(CONCrow2-CONCrow 1)。
浏览 0提问于2015-01-07得票数 3
回答已采纳
我希望计数R数据帧中每列中的零数，并将其表示为百分比。是否应将此百分比添加到原始数据帧的最后一行？示例y <- c(3, 0, 9, 12, 15)希望查看每列中的零，并以百分比表
浏览 1提问于2013-09-23得票数 4
回答已采纳
1回答
检查火花数据中的行值是否为空。
、、、、
我正在使用pyspark中的自定义函数来检查星火数据true中每一行的条件，如果条件为true，则添加列。守则如下：from pyspark.sql.functions import *sdf.show()
我在下面提到了
浏览 3提问于2016-08-19得票数 7
1回答
有人可以建议如何删除空白和2020年的差异和百分比差异的零。我只想找出从2021年到2020年的差异，其中差异将显示在一行中，仅显示在2021以下，而百分比差异将显示在另一行中。 ?
浏览 119提问于2021-11-04得票数 2
给定以下DataFrame：findspark.init()+--------+-----+| b| 2|+--------+-----++--------+-----+
浏览 2提问于2018-09-10得票数 7
回答已采纳
我有以下观点，它计算了每个站点id的每个日期所使用的站点资源的百分比增长：我想要完成的是，添加一个额外的列，它将显示每一行前面所有百分比增加的总和。因此，最后一个表应该如下所示：这里的Column1只是为了进一步澄清我在这里试图实现的确切想法。“按日期计算的总百分比”列中的
浏览 0提问于2020-05-02得票数 -1
云服务器
ICP备案
云直播
对象存储
实时音视频
腾讯云开发者
