在一次调用中从Redis缓存查询百万密钥
我使用Redis作为我的缓存服务器。为了清晰起见，我正在存储像'S0007226_2005-07-09': '[15.3462, -1]'这样的键值对。查询是关于特定的键，而不是基于范围的。为了查询，我使用了pyredis客户端。
我经常不得不从缓存中获得100万个密钥。这种查询对于redis来说太重了，最多需要10秒。这里的问题是查询中n个键的MGET是一个O(n)操作 (n是查询中的键数)。我添加了表，以便从日志中查询时间。
| Keys | time(ms)|
| 703732 | 6869.66 |
| 26806 | 277.21 |
| 13180 | 137.41 |
| 400 | 5.83 |
| 2589 | 29.04 |
| 180 | 3.6 |
| 98413 | 1009.84 |
| 151994 | 1524.12 |这似乎很正常，因为随着键数的增加，时间以O(n)的方式增加。此外，我正在使用redis管道打破10K块的键列表。
我希望将查询时间减少到~1s或更少。如果不是Redis，我可以尝试并行请求并合并结果。但考虑到redis只能在单个核上工作，在我的理解中，这不是一个可行的选择。可能的出路：
- 去做一些设计上的改变，在这里我一开始不需要查询一百万个密钥。
- 使用其他工具而不是Redis来处理负载。
- 对目前的设置本身进行了一些优化，以便更好地处理它。
假设我必须从2和3中选择一些东西，我的选择是什么？我应该尝试一些其他的缓存服务器，这些缓存服务器是为更高的吞吐量而设计的，还是在查询/存储或设置中可以进行一些优化，以获得更好的结果？
回答 2
Stack Overflow用户
发布于 2020-09-13 07:43:36
“如果不是Redis，我可以尝试并行请求并合并结果。”
您仍然可以并行请求。创建多主设置，并将您的密钥分割/分发到多个主服务器上。然后，您可以从多个主模块并行地请求数据。
我也可以从经验中告诉你，没有比redis更快的了，因为它完全在内存中，单线程进程。所以你问题中的第二条是极不可能的。
我宁愿更改设计，即#1。如果没有，则并行执行多主程序设置和请求。
Stack Overflow用户
发布于 2020-09-13 14:52:53
我认为你不应该同时查询1万个密钥。您应该使用内存缓存和Redis缓存来构建缓存。
您应该查询如下：
- 在本地缓存中搜索
- 查询Redis只用于那些不可用的键。
始终使用TTL，TTL将帮助您在一段时间内分发密钥查询，如果您认为多个密钥可能同时过期，则向TTL添加一个随机增量。
即使在完成此操作之后，如果您看到单个节点Redis的性能问题，也要使用主副本。考虑到您拥有的密钥数量，您需要有10个以上的碎片。
https://stackoverflow.com/questions/63867063
复制相似问题
腾讯云开发者
