首页
学习
活动
专区
工具
TVP
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

期望薪资12k,有一道笔试题没有做好,面试官只给10K,要不要去?

如果你想第一时间收到类似的文章

每晚10点,捕获技术思考和创业资源洞察

在MYSQL中,有一张1000W 数据记录的表,主键id是自增的,如何随机抽取10条记录?

文|洪生鹏

本文旨在抛砖引玉,具体实施方案需要自己在实践中动手去尝试,不断尝试,不断改进调优。

一张1000W 数据记录的表,数据表的主键id 是自增的,需要随机抽取10条记录。请给出解决方案。

MYSQL中自带了随机取数据的rand()函数,如果数据量少,我们可以直接使用,效率是可以接受的。对此随机查询10条记录,我们可以这样写:

但要是遇到数据量上千万级别时,这时如果还是采用rand()函数,很明显在性能方面不乐观。

关于RAND函数,官网api文档是这样说明的:

You cannot use a column with RAND() values in an ORDER BY clause, because ORDER BY would evaluate the column multiple times.

由此可见,rand()放在ORDER BY 子句中导致全表扫描,这样一来性能明显下降。

那么有没有办法优化呢?毋庸置疑,答案是有的。我们尝试有两种方案来看看。

方案1

尝试用子查询实现

如果使用以上的SQL语句,发现查询到的数据是连续的,但我们要的是随机的,不难理解 LIMIT 10 得到当前查询条件的前10条,所以是相对连续的,uid 是自增的,因为用的是储存插入的,实际项目也是相对连续的。这条SQL 一次性查询无法达到我们的需求,则可分别一条条查询,如果要求的随机条数较多,不推荐采用这条SQL语句了。

但以上的随机有个缺陷,那就是数据源被限制在一个范围里,而不会在1000W数据里随机。那要是调整成

是不是解决了,也不是,这种查询在数据表不够1000W数据的时候,会查询不到数据。

方案2

上面的方法我们是直接用MYSQL来实现,那么不妨换个思路,先用程序来实现。

我们先用程序生成10个随机数,(可能还要进行重复排除),然后再由这些随机组分十次取出int x=rand()*100000

不过事先从程序中生成这种方式仍然存在一个问题:如果ID分布不均匀的情况下,随机出来的ID可能会取不到足够的数据(这个随机数之前是通过最小值和最大值之间来随机的,但是这个数值的分布可能不均匀。比如id>xxx的数据可能取出来不够10条数据)

如果要从MYSQL入手,是否能够在MYSQL主键中随机取出10条并且能够利用到索引。在不连续id,空挡的情况下,尽可能平均分布的随机呢?

不知你有没有更好的方案,欢迎交流,一起学习,一起进步。

【END】

分享职场攻略、技术心得和创业资源

  • 发表于:
  • 原文链接https://kuaibao.qq.com/s/20190814A0RTDJ00?refer=cp_1026
  • 腾讯「腾讯云开发者社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。
  • 如有侵权,请联系 cloudcommunity@tencent.com 删除。

扫码

添加站长 进交流群

领取专属 10元无门槛券

私享最新 技术干货

扫码加入开发者社群
领券