如何在Pyspark中用ROW_NUMBER转换PARTITION_BY和ORDER？

文章/答案/技术大牛

发布

2回答

sql、apache-spark、pyspark、apache-spark-sql

我不明白括号外的ROW_NUMBER()和rownumber到底是什么函数。.* , ROW_NUMBER () OVER (PARTITION BY txn_no, seq_no order by txn_no, seq_no)rownumber 我应该把这个代码转换成pyspark在转换过程中需要一些帮助。

浏览 153提问于2021-01-09得票数 0

1回答

sql查询的查询集

django、django-queryset、django-postgresql

有关问题描述、示例数据和postgres查询，请参见。我想把SQL转换成查询集。我觉得我离得很近，但不太接近。.*, ROW_NUMBER() over (partition by A.column_C Order by case A.column_B when 'UserA' then 0 else 1 end=True).annotate(rn=Value(0)) expression=RowNumber(),

浏览 7提问于2021-11-19得票数 0

回答已采纳

1回答

spark sql日期间隔sql查询不起作用

sql、apache-spark、pyspark、bigdata、sql-function

decimal(18,2))) as totalTradedVolume, ROW_NUMBERPARTITION BY dateadd(minute, datediff(minute, 0, cast ([date] + ' ' + [time] as datetime) ) / 15 * 15, 0) ORDERgroup by [date],[time],SecurityDesc,StartPr

浏览 1提问于2018-09-06得票数 1

3回答

SQL:给定行之前和之后的行数

sql

问题是我们要得到给定行之前和之后的总行数(例如，由主键标识)。( FROM SalesLT.Customercte_nums AS SELECT ROW_NUMBER() OV

浏览 0提问于2011-03-02得票数 4

回答已采纳

1回答

SSRS / Visual :基于另一个字段将数据分发到列中

visual-studio-2013、reporting-services

是否可以根据另一个字段的值(在我的例子中是“块”)轻松地将数据(在我的例子中是“subject‘s”)分发到不同的列中，这样我就可以有一种时刻表网格报告，也就是说，如果我的数据看起来像： ---------- 如何生成如下表/矩阵： English | Fr

浏览 0提问于2015-08-24得票数 0

回答已采纳

1回答

MSSQL -在日期范围内转换日期时间列表

sql-server、sql-server-2012、gaps-and-islands

我有一个存储数据的系统，如： ([UserId] int, [RoomId] int, [TypeId] int, [Date] datetime)表中的每一行都意味着在给定日期内为某些类型的用户保留了空间CREATE TABLE Reservations我准备了这个sql小提琴。我试着写select语句，但没有成功。我遗漏了什么？

浏览 0提问于2020-04-14得票数 0

回答已采纳

3回答

交替值序查询集

django、postgresql、django-models、django-queryset

浏览 0提问于2018-05-01得票数 17

回答已采纳

2回答

OrderBy后跟Skip and Take是编译成查询还是在内存中运行？

entity-framework、entity-framework-4、linq-to-entities

collection.OrderBy(orderingFunction).Skip(start).Take(length);var result=orderedCollection.Skip(start).Take(length); 在这种情况下，Skip和Take

浏览 2提问于2013-08-02得票数 2

1回答

在sql server的case语句中使用Row_Number()

sql、sql-server

我离开了两个表A和表B，输出在下面，是正确的。select a.id,b.OS_ID from TableA left join TableB我想要实现的是用51和52代替NULL。() over (order by os_ID) + @OSID from OS_Master select a.ID,case when b.OS_ID is null then (select ROW_

浏览 1提问于2020-01-28得票数 1

回答已采纳

2回答

如何在SQL Server2008中的SQL函数中传递要比较的值列表？

asp.net、sql-server、stored-procedures、function

我有一个SQL函数，其中包含以下SQL：ROW_NUMBER() OVER(ORDER BY DateAddedBA“，并将其转换为类别ID列表，如"IE"，"EG”等，因此我的WHERE子句如下所示： WHERE (CategoryCode LIKE 'IE' OR CategoryCode LIKE 'EG'如何在我的SQL函数中将Cat

浏览 2提问于2010-02-19得票数 0

回答已采纳

1回答

用collect_list(列)将火花数据转换成长格式

python、apache-spark、pyspark、pyspark-sql

import pyspark.sql.functions as F lambda x: sorted(x)[-3:]|versicolor|[3.2, 3.3, 3.4]|+----------+---------------+ 现在，我如何有效地将其转换为长格式的数据

浏览 3提问于2017-11-01得票数 2

2回答

SQL将多行合并为一行。

sql-server

我正在尝试获取具有相同ID的行，并将它们返回到同一行。我的数据如下所示：1 Banana1 Grapefruit2 Blueberry3 PearID Fruit Fruit1 Fruit22 Cherry Blueberry NULLSELECT a.[ID],a.[Fruit],b.[Fruit] FROM [test].[dbo].[F

浏览 7提问于2017-05-30得票数 1

回答已采纳

1回答

使用Typeorm从Postgres数据库返回ROW_NUMBER()

javascript、postgresql、typeorm

我正在努力研究如何结合使用ROW_NUMBER()函数和Typorm和Postgres来动态返回有序查询的行号。有关这方面的信息可以在here上找到。需要指出的一件事是，我已经了解了如何在Typeorm中使用getRawMany() (下面解释)来实现这一点，但是创建一个实体，然后不返回实体的字段(使用getMany())似乎是错误的。对此的查询如下： select *, ROW_NUMBER () OVER (ORDER BY like_count desc) from "p

浏览 54提问于2020-06-26得票数 1

1回答

只有2列的表的sql枢轴函数

sql-server、pivot

我试图使用Server中的pivot函数来转换一些结果，但我遇到了麻烦。

浏览 2提问于2014-02-23得票数 0

回答已采纳

5回答

从数据库中获取特定数量的值之间的项

c#、linq、linq-to-entities

嗨，我最近学习了实体框架和linq，我被要求转换这个存储过程：@pageNumber int BEGIN ( Id , Name , Author , Description , PublicationDate , Catego

浏览 1提问于2013-03-05得票数 0

回答已采纳

2回答

计算连续观测的条纹

apache-spark、pyspark、apache-spark-sql

我需要计算数据中连续的0s和1s的条纹，如果值发生变化，则将条纹重置为零。举个例子：from pyspark.sql.functions import (to_date, row_number-08|Pete| 4| 0|## +----------+----+-----+----+ 使用这些数据，我想计算连续的0和1

浏览 0提问于2019-01-30得票数 1

回答已采纳

1回答

在R程序设计中，如何使用QR代码读取和解码图像？

r、rstudio、qr-code、decoding

我如何在R编程中用QR码读取和解码图像？我想用文本中的QR代码来转换图像。R有用于生成QR码的库，如“package”和“package”，但我需要一种或另一种方法来从图像JPG或PNG或BMP或另一种图像中解码QR码。

浏览 3提问于2022-03-23得票数 1

回答已采纳

4回答

如何选择最后一行，以及如何按索引访问PySpark数据？

python、apache-spark、pyspark、apache-spark-sql

来自类似于PySpark SQL数据文件的abc 20 A如何获得最后一行。(就像df.limit(1)一样，我可以将第一行数据last转换为新的数据格式)。df.ix[rowno or index] # by index我只是好奇如何以这样的方式或替代的方式访问pyspark

浏览 7提问于2016-09-17得票数 16

回答已采纳

2回答

如何将长数据转换为宽数据

pyspark、apache-spark-sql、pyspark-dataframes

我有一张数据文件看起来像：A,0.1B,0.3C,0.1如何将此转换为宽数据帧。这就是我希望得到的：A,0.1,0.2C,0.1,0.2 每个组中的记录数是相同的，以及如何在换位时创建具有前缀或后缀的一致列名？

浏览 3提问于2020-08-19得票数 0

回答已采纳

2回答

在表格中只保留3条最高的正负记录。

postgresql、postgresql-9.3

我对数据库和postgres都是新手。我有一个名为name的表，它有2列名称和值，每x秒用新的名称值对更新一次。我的要求是在任何时间点只保留3个正值和3个负值，并在每次表更新期间删除其余的行。我使用以下查询删除旧行，并保留按值排序的3个正值和3个负值。delete from namesrow_number() over (partition by value > 0, value < 0 order by value

浏览 3提问于2019-09-26得票数 1

回答已采纳

点击加载更多