专栏首页SQL实现从100万条数据中找到极大值所在行

从100万条数据中找到极大值所在行

问题描述

今天在星球里看到了这道题,题目的详细见下图。

授信表(t_credit)的表结构:

字段

类型

描述

credit_ts

Date

授信时间

source_ch

String

客户来源渠道

customer_id

Integer

客户ID

amount

Float

客户额度

这道题目给出的两个信息需要特别关注:

  1. 授信表的数据有 100万;
  2. 最终结果只需要展示每个渠道的最后授信时间所在的行记录(100 条左右)。

解决方案

一般涉及到获取极大值/极小值的所在行记录的需求都可以用窗口函数来解决。

先对表数据按照客户来源渠道分组,再对分组内的数据按照授信时间降序排序,序号排在第一位的记录就是我们要找的记录。

具体的 SQL 实现如下:

SELECT
  credit_ts,
  source_ch,
  customer_id,
  amount
FROM
  (SELECT
    *,
    rank () over (
      PARTITION BY source_ch
  ORDER BY credit_ts DESC
  ) AS rn
  FROM
    t_credit) t
WHERE rn = 1

考虑到同一个渠道内的授信时间可能有重复,没有使用窗口函数 row_number() ,而是使用了 rank() ,也可以使用 dense_rank()

不过,由于 t_credit 表的数据量有 100万,而最终要查找的结果只有 100 条左右,使用窗口函数排序会有性能问题。如果对查询响应的时间有要求,可以考虑下面的方案。

首先,找到每个渠道的最后授信时间,这步的结果暂存在临时表 t 中,临时表 t 只有 100 条数据。然后,t 再和 t_credit 关联,获取到 t 中 100 条记录的明细信息(由于可能存在授信时间重复的记录,因此最终的结果有可能超过 100 条)。

每个渠道的最后授信时间可通过下面的 SQL 得到:

SELECT
  source_ch,
  MAX(credit_ts) AS max_credit_ts
FROM
  t_credit
GROUP BY source_ch

t 和 t_credit 关联获取到完整的结果:

SELECT
  t_credit.*
FROM
  t_credit
  INNER JOIN
    (SELECT
      source_ch,
      MAX(credit_ts) AS max_credit_ts
    FROM
      t_credit
    GROUP BY source_ch) t
    ON t.source_ch = t_credit.source_ch
    AND t.max_credit_ts = t_credit.credit_ts

本文分享自微信公众号 - SQL实现(gh_684ee9235a26),作者:zero

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2020-08-06

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 介绍两个刷 SQL 题的网站

    其实,要刷 SQL 题,对着《SQL COOKBOOK》、《SQL 经典实例》这两本书,把所有实例从头到尾全部实现一遍就很厉害了。

    白日梦想家
  • SQL 求平均值时去掉极值

    在一些比赛中,为了公平起见,算法端会在评委给出的分数里面去掉一个最高分和一个最低分,再求平均分,平均分即是选手的最后得分。

    白日梦想家
  • SQL 打印成绩单

    这是 HackerRank 上的一道中级难度的 SQL 挑战题,实际上考察的是动态排序。

    白日梦想家
  • Modbus RTU驱动程序开发指引

    Modbus RTU 驱动开发 摘要 这篇笔记主要介绍基于飞思卡尔kv4x系列MCU的modbus RTU(Remote Terminal Unit)驱动程序开...

    用户1605515
  • arthas教程2

    版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。 ...

    IT云清
  • [总目录]JanusGraph重要笔记

    JanusGraph数据库配置(官网中文翻译).https://blog.csdn.net/wzwdcld/article/details/82082760

    陈黎栋
  • 【V直播】网易有道周枫:神经翻译更懂人话,谷歌入华影响不大

    嘉宾:网易高级副总裁、网易有道CEO 周枫 【新智元导读】本周,新智元V享圈请来网易高级副总裁、网易有道CEO周枫一起畅聊机器翻译。周枫分享了有道在自然语言处理...

    新智元
  • 如何使用jMeter对某个OData服务进行高并发性能测试

    For project reason I have to measure the performance of OData service being acce...

    Jerry Wang
  • 无人驾驶车

    Sebastian Thrun: Google's driverless car 因为朋友在一场车祸中去世,就决定致力一生于自动驾驶车的研究,想要拯救更多的生命...

    杨熹
  • 斯坦福大学使用机器学习做次季节温度/降水预报

    文章下载地址: https://arxiv.org/pdf/1809.07394.pdf

    zhangqibot

扫码关注云+社区

领取腾讯云代金券