腾讯云开发者社区-腾讯云

开发者社区

文档建议反馈控制台

最新优惠活动

文章/答案/技术大牛

发布

mini188

专栏作者

57

文章

77276

阅读量

34

订阅数

缓存遇到的数据过滤与分页问题

数据库云数据库 SQL Server 运维

遇到的问题 1、最初阶段系统中做了一个监控功能，用于记录所有的请求数据，数据插入频繁，量非常大，比如一天1000万条。考虑到数据插入的效率，就使用内存KV缓存来保存。写入过程是在接收到请求后放入到线程池中，然后线程池异步处理后写入。到这问题基本上没什么事情。 2、新的需求后面数据保存了，就需要在运维系统中可以查询到，所以这个缓存还必须是分布式的。于是就换成了redis，这样系统都可以连接到。但是数据量太大，需要分页查询，这就有点头痛了。还好redis是可以支持有序集合的，而且可以通过zrange来获取指

2018-01-12

2.3K0

数据库SQL,NoSQL之小感悟

数据库云数据库 Redis 云数据库 SQL Server

遇到1000万数据表最近遇到一个问题，就是单表数据过1000万的存储及查询问题。举个例子：1000万的数据存在一个表中，字段4-5个样子，日常开发中难免要做过滤、排序、分页。如果把这几个放在一起即要过滤又要排序，还要分页那么数据量大一些就会发现特别慢。 10多年前刚入行时就听许多的人讨论分页，说什么1000万大表分页存储过程啥的。我之后一直工作中也没怎么遇到大数据量的开发工作，也真是惭愧啊，现在算是补补课吧。 1000万数据分个页吧常用的数据库产品对分页都是有一些支持的，SQL语句肯定是OK的，同样的

2018-01-12

6820

没有更多了

社区活动

腾讯技术创作狂欢月

“码”上创作 21 天，分 10000 元奖品池！

Python精品学习库

代码在线跑，知识轻松学

博客搬家 | 分享价值百万资源包

自行/邀约他人一键搬运博客，速成社区影响力并领取好礼

技术创作特训营·精选知识专栏

往期视频·千货材料·成员作品最新动态