PySpark -获取组中每行的行号

文章/答案/技术大牛

发布

2回答

apache-spark、pyspark、apache-spark-sql、spark-dataframe、pyspark-sql

使用pyspark，我希望能够对spark数据帧进行分组，对组进行排序，然后提供行号。

浏览 13提问于2017-08-05得票数 19

回答已采纳

2回答

获取星火中RDD中每个键的前3位值

python-2.7、apache-spark、lambda、pyspark、rdd

我是Spark的初学者，我正在尝试创建一个RDD，它包含每个键的前3个值(而不仅仅是前3个值)。我当前的RDD包含数千个条目，格式如下：因此，想象一下，我有一个内容如下的RDD：("B1", "qwe", 4),

浏览 1提问于2018-04-08得票数 3

回答已采纳

1回答

根据文本文件每行中的列号从文本文件中读取数据

c#、xml、file、filestream、streamreader

我正在从客户端获取一个文本文件，该文件有多行，每行可以属于一个组。每组都有特定的数据格式。每种数据格式定义将在行中的特定位置出现的字段。我需要重新格式化数据并向每行添加详细信息。例如，有3个组GroupA、GroupB、GroupC，每个组的格式由行号指定。-12.90Adj 1274G 20122013 C FEECredit 12.34INR -12.90

浏览 1提问于2014-02-12得票数 0

1回答

将MySQL SELECT all划分为包含7个结果的部分，并对每个部分运行新查询

php、mysql、sql

我想通过将结果的数量除以7来将MySQL查询的结果分组，这样我就可以在每个组上运行查询。每次的时间段都是不同的。

浏览 1提问于2013-08-25得票数 0

1回答

将列添加到Pyspark，该列将多个组分配给相应的行

group-by、pyspark、apache-spark-sql

我有一个数据框架： from pyspark.sql import SparkSession| d| 66 || b| 3 |+-------+-----+ 我想把每4行作为一个组。然后，关于该组，创建新列，在该列中，我可以将组数分配给相应的行。因此，

浏览 27提问于2019-04-12得票数 0

回答已采纳

1回答

如何在PySpark的Pandas中使用iloc获得相同的结果？

apache-spark、pyspark、apache-spark-sql

在Pandas dataframe中，我可以使用data.iloc[1:1000,:]获取前1000行。如何在PySpark中做到这一点？

浏览 24提问于2021-01-11得票数 1

回答已采纳

1回答

使用分组和标头对SSRS表进行序列号

sql、ssrs-2008

以下是我正在编写的一份报告的示例。它是通过"CostCenter“字段分组的，并且在每个组的上方有一个具有"Betrag”字段总和的标题。我还想用标题对表中的每一列进行编号。我认为应该有一种方法或公式来连接Colmun行号或"Zeilennr“中的两个字段，从而为每行生成正确的行号

浏览 54提问于2021-04-26得票数 0

回答已采纳

1回答

按行索引拆分Spark数据帧

python、apache-spark、pyspark、apache-spark-sql

如果有100行，则期望分割成4个相等的数据帧应分别具有索引0-24、25-49、50-74和75-99。唯一可用的预定义函数是randomSplit。我想到的另一种方法是使用count归约操作找到数据计数，然后使用take继续提取数据，但这非常昂贵。有没有其他方法可以在保持相同顺序的情况下实现上述目标？

浏览 8提问于2018-02-21得票数 2

回答已采纳

5回答

SQL -如何更新每个行值递增1的列？

sql、sql-server、loops、auto-increment、row-number

对于一列中的选定行，如何从头到尾依次更新每行，每行的值递增1(或某个数字)。我知道这可以在excel中在几秒钟内完成，但我可以弄清楚如何在SQL server中实现。例如：ship-to party customer id 0002018092 NULL，如何使用行号更新每行？我知道有一个row_nu

浏览 1提问于2017-12-08得票数 1

1回答

用C# Api查询日志采集

c#、.net、mongodb、mongodb-query

要进行上下文设置，请执行以下操作：批处理文件有BachItems，每个BatchItem都是一行，并且有一个行号。每行都是按顺序处理的。我是NoSQL和mongo的新手，我想知道如何查询每个BatchItem (行号)上执行的最后一个处理步骤(最近的EventType列)，按BatchId过滤？我相信我可以使用聚合和组函数来实现这一点，但不知道如何实现。谢谢。

浏览 34提问于2019-02-18得票数 0

2回答

在引导中获得显示行号的最干净的方法是什么？

javascript、jquery、css、twitter-bootstrap

假设我在一系列引导行中显示了一组图像，每个行看起来如下 <div class="col-md-3 col-sm-6">im1</div> <div class当呈现这组行时，每行的列数将取决于浏览器的像素宽度。现在，假设我想为用户提供行号，但我希望行号与用户看到的行相关联，而不是类指定的行。获得和显示

浏览 5提问于2015-10-10得票数 0

回答已采纳

2回答

在火花中放置行

pyspark

如何根据行号/行索引值的值删除Pyspark中的行值？我对Pyspark (和编码)很陌生--我尝试过编码一些东西，但是它不起作用。

浏览 1提问于2019-04-08得票数 3

回答已采纳

1回答

PySpark中的群累积计数

python、pyspark

df.groupby(['id']).cumcount()df['id'] += count_num 1 | joe | 2 | jane |--------------- 如何在PySpark中实

浏览 0提问于2019-04-10得票数 0

回答已采纳

1回答

如何获取row_number is pyspark数据帧

python、apache-spark、dataframe、pyspark

为了排名，我需要让row_number是一个pyspark数据帧。我看到在pyspark的窗口函数中有row_number函数，但这是使用HiveContext所必需的。我尝试用HiveContext替换sqlContext self.sc = pyspark.SparkContext()

浏览 0提问于2016-10-30得票数 2

1回答

基于关键字的R子集文本行

r、string

我有一个linux文本文件(日志文件)，我从windows的R工作室读取。到目前一切尚好。读取R中的文件后，我得到以下结构# 'utf8' chr [1:1321] 现在，我想找到一种方法来选择包含任意一组特定关键字的行号在选择

浏览 0提问于2018-11-07得票数 1

回答已采纳

1回答

在pyspark dataframe中检索最大值时遇到问题

python、apache-spark、pyspark、apache-spark-sql、aws-glue

在我通过使用窗口和对一组列进行分区来计算pyspark dataframe中每行5行内的平均数量之后 from pyspark.sql import functions as Fconsecutive_df = prep_df.withColumn('aveg', F.avg(prep_df['quantity']).over(window)) 我尝试使用相同的<e

浏览 14提问于2020-06-19得票数 0

回答已采纳

2回答

如何只保留每个用户(另一列)具有最高列值的行？

python、apache-spark、pyspark、apache-spark-sql

我有一个PySpark数据格式- ("u1", "india", 10),| u4| japan| 15|我只想为每个user_id保留具有最高价格列的行想要的输出应该是- +-------+---------+---

浏览 2提问于2020-12-15得票数 0

回答已采纳

1回答

在从网格中获取每条记录后，我正在尝试创建一个json数组。我想添加网格的行号作为json数组中每一行的键

extjs

在从ExtJS 3.4.0的网格中获取每条记录后，我正在尝试创建一个json数组。我想添加网格的行号作为JSON数组中每行的键。

浏览 4提问于2017-07-29得票数 2

0回答

行号的配置单元查询

apache-spark、hive、pyspark、spark-dataframe

我在pyspark上工作，需要编写一个从hive表中读取数据并返回包含所有列和行号的pyspark数据帧的查询。这是我尝试过的：这个查询在hive中运行得很好，但是当我从pyspark注意:我不希望以任何特定的顺序对行进行排序，我只需要表中所有行的行号

浏览 2提问于2017-12-06得票数 0

2回答

如何将多个文件中的行号提取到单个文件

python

每个文件包含以下格式的多个行号(每行一个行号)：15我想从15个文件中的每个文件中提取10个随机行号到单个输出文件(OutputLinesFile)中棘手的部分是，其中一些文件可能包含少于10个行号，在这种情况下，我希望将尽可能多的行号提取到输出文件中。输出文件的格式应与输入文件相同(每行一行)。提前感谢您<em

浏览 0提问于2013-06-18得票数 1

点击加载更多