首页
学习
活动
专区
圈层
工具
发布
社区首页 >专栏 >加分片打不散热 Key:槽位固定、副本只读与写热点

加分片打不散热 Key:槽位固定、副本只读与写热点

原创
作者头像
一只特立独行的兔先生
发布于 2026-11-20 09:17:28
发布于 2026-11-20 09:17:28
180
举报

秒杀详情、全局配置、直播间点赞,经常是同一个 Key 在扛流量。腾讯云分布式缓存数据库(兼容 Redis)上,实例总 QPS 离规格上限还远,却有一个分片 CPU 打满,其余分片很闲。加分片或加 Proxy 搬不走这个 Key。副本只读也只分流一部分读命令。

槽位决定它只有一个家

集群把键空间分成 16384 个槽,槽号是 CRC16(key) mod 16384。CRC16 用 XMODEM(多项式 0x1021,初值 0),不是 CRC-16/MODBUS。Proxy 把单 Key 命令送到该槽所在分片。扩容只是把槽区间在分片之间搬家,一个 Key 搬家后仍然只属于一个槽、一个分片。

Key 里如果有 {...},并且第一对花括号中间不是空的,槽号只哈希括号里的内容。{sku:1001}:detail 和 {sku:1001}:stock 永远同槽。为了多 Key 命令不跨槽加上的标签,热点一来会把这一组 Key 压在同一个分片上。

标准架构没有分片可加。写请求和不能下放的读都挤在唯一主节点的主线程上。命令执行是单线程,一条慢命令会堵住后面的请求。Proxy 不占用分片 CPU,加 Proxy 只是多接连接。节点管理页有每个节点的 Slots 区间。扩容后用槽号对区间,不要看实例平均 CPU。

代码语言:python
复制
import binascii

def hash_slot(key: str) -> int:
    raw = key.encode()
    start = raw.find(b"{")
    if start != -1:
        end = raw.find(b"}", start + 1)
        if end != -1 and end != start + 1:
            raw = raw[start + 1 : end]
    return binascii.crc_hqx(raw, 0) & 16383

assert binascii.crc_hqx(b"123456789", 0) == 0x31C3
print("tag", hash_slot("{sku:1001}:detail"), hash_slot("{sku:1001}:stock"))
print("suffix", hash_slot("likes:1001:0"), hash_slot("likes:1001:1"))

tag 那一行槽号相同。校验值 0x31C3 对不上,就不要用这段函数。suffix 那一行不保证落到不同分片:分片数远小于 16384,不同槽仍可能落在同一段 Slots 区间。N 个后缀不等于 N 个分片。

副本只读实际分流了什么

Proxy 把写送到主节点,读按副本负载分权重,具体副本不能指定。开关只影响新建连接。连接池不回收,控制台已显示开启,业务还在打主节点。改完要滚动重启客户端,或关掉池里的空闲连接重建。

节点管理里的开关只给默认账号配路由。自定义账号(默认格式 账号名@密码,分隔符看参数 UserPasswordSeparate)要到账号管理里把只读路由策略改成副本节点。副本只读没开通时,策略里选不了副本。策略若包含主节点,主线程仍分到一份读。

以副本只读文档的命令表为准。当前表里 INCR、HINCRBY、ZINCRBY、EVAL / EVALSHA、GETEX、GETDEL、SCAN、HSCAN、MULTI / EXEC、订阅命令只到主节点。GET、HGET、HGETALL、ZRANGE 不在表里,可以下放。Lua 包一层「只读」没有用,脚本整体转到主节点。点赞、扣库存、排行榜加分,开副本只读等于没开。

副本落后于主节点,写后读可能拿到旧值,一致性要求高的读不要下放。副本全量同步时,Proxy 停掉发往该节点的流量;节点异常会降权,连接失败一次后暂时不再转发。正在同步或被摘掉的副本,不能算进读容量。

read-local-node-only 默认关闭,参数配置里改成 yes 即开启。就近访问优先于只读路由策略,本可用区有节点就先读本可用区。文档写跨可用区通常多 2 ms~5 ms。打开就近读,热 Key 会重新压到本可用区那一个副本上。策略是仅副本、但主可用区只有主节点时,本可用区请求会退化为读主节点。打散和就近读方向相反,一起开时看分片 CPU。

本地缓存剩下的回源

能接受短窗口不一致的读,才适合进程内缓存。进程内要合并同一个 Key 的并发回源,Caffeine 的 LoadingCache 会做这件事;自己写缓存不做合并,一个进程里几百个并发仍同时打到 Redis。跨进程合并不了。每个进程在 TTL 内回源一次时,留在 Redis 上的 QPS 大约是进程数除以 TTL 秒数。200 个进程、TTL 50 ms,回源大约 4000;TTL 2 秒大约 100,不一致窗口就是 2 秒。这是算术,不是压测。发布时所有进程一起未命中,回源会叠上来,TTL 要加抖动。抖动解决不了值刚更新、各进程还拿着旧值,本地缓存没有失效广播。库存、价格、余额不要放进秒级以上的本地缓存。

热 Key 说明里的例子:1 MB 的 Key 每秒读 1000 次,大约 1 GB/s。副本只读把流量分到多个网卡,总流量不减。本地缓存命中才不再出网卡。HGETALL 一个大 Hash,下放到副本仍会占住该节点主线程,先拆字段或改成 HGET。

写热点拆计数器,不要复制同一份值

把热 Key 复制成 hot:product:1001:0 到 :N,读时随机挑一个,只能救急读热点。更新要写全部副本,一个写失败,读到的值就不一致。写热点不要用这个做法。

计数器按后缀拆开,让每次 INCR 落到不同槽。标准架构只有一个主节点,拆 Key 拆不走 CPU,要先到集群架构。用用户 ID 选分片,同一用户的重复点击落在同一个子 Key 上;随机更匀,但超时重试会多加一次。两种选法都挡不住「INCR 已成功、响应丢失、客户端再试」。先记下这个请求已经加过,再 INCR。

代码语言:go
复制
package likecounter

import (
    "context"
    "fmt"
    "hash/fnv"

    "github.com/redis/go-redis/v9"
)

func counterKey(id string, shard int) string {
    // 不要写成 likes:{id}:%d,花括号会把所有分片钉在同一个槽。
    return fmt.Sprintf("likes:%s:%d", id, shard)
}

func incrLike(ctx context.Context, rdb *redis.Client, id, userID string, n int) error {
    h := fnv.New32a()
    _, _ = h.Write([]byte(userID))
    return rdb.Incr(ctx, counterKey(id, int(h.Sum32()%uint32(n)))).Err()
}

func sumLikes(ctx context.Context, rdb *redis.Client, id string, n int) (int64, error) {
    pipe := rdb.Pipeline()
    cmds := make([]*redis.StringCmd, n)
    for i := 0; i < n; i++ {
        cmds[i] = pipe.Get(ctx, counterKey(id, i))
    }
    if _, err := pipe.Exec(ctx); err != nil && err != redis.Nil {
        return 0, err
    }
    var sum int64
    for _, cmd := range cmds {
        v, err := cmd.Int64()
        if err == redis.Nil {
            continue
        }
        if err != nil {
            return 0, err
        }
        sum += v
    }
    return sum, nil
}

集群上,Proxy 会把跨分片的多 Key 命令拆成按 Key 的子命令,MGET 可以跨槽。自建 Redis Cluster 没有这层代理时,跨槽 MGET 直接 CROSSSLOT。上面用 pipeline 逐个 GET,两边都能用;缺 Key 按 0 计。Exec 遇到不存在的 Key 会返回 redis.Nil,要和真正的错误分开。

N 取实际占到的分片数。每次读放大成 N 次 GET,只占到 2 个分片,写热点就只拆成两份。库存扣减不要拆开再求和:每个子 Key 上看不到总量,会超卖。库存仍放一个 Key,用 Lua 或 INCRBY 的返回值做判断,前面用限流把这个槽的 QPS 压到主线程扛得住的水位。

先证明是热 Key,再决定扩什么

DBbrain 左侧进入诊断优化,选好实例,打开延迟分析里的热 Key 分析。频次是窗口内的累计次数,不是 QPS。文档举例:近 1 小时 72000 次,近 24 小时 1728000 次,不能横比。同一窗口的频次除以秒数才是速率,72000 / 3600 = 20 次/秒。按节点筛选,看是不是只出现在一个节点。采样保留 10 天,查询跨度不超过 10 天。实时视图大约 1 分钟一个周期,刚有流量时等 1 到 2 分钟。接入层旧版本节点 ID 可能为空,不要当成没有热 Key。

节点监控里一个分片 CPU 打满、其他分片空闲,就是槽位倾斜。加分片不会把这个 Key 的命令拆走。

redis-cli --hotkeys 只在 maxmemory-policy 为 allkeys-lfu 或 volatile-lfu 时能跑,否则报错。这两档会改变逐出顺序,故障现场不要为了排查去改。已经是 LFU 时,集群要分别连各分片节点,一次连接只统计当前节点。它走 SCAN,放低峰期。

代码语言:bash
复制
export REDISCLI_AUTH='example-password'
redis-cli -h 10.0.0.12 -p 6379 --hotkeys

改完怎么验收

  • 热 Key 分析里,这个 Key 和后面的 Key 不再差一个数量级,且不再是单个分片独占。
  • 打满的分片 CPU 下来,压力没有原样挪到另一个分片。
  • 连接池换新之后,同一窗口里副本节点上出现这个 Key 的访问频次。仍是 0,要么池没换,要么自定义账号还在读主节点。
  • 不接受读到旧值的写后读,不要进只读路由。
  • 本地缓存的回源量和「进程数 / TTL」同一量级。差很多就是没合并回源,或 TTL 没生效。
  • 子 Key 的槽落在不同 Slots 区间;同一个请求重试一次不能加两次。

热 Key 过期穿透到数据库,那是击穿。互斥重建解决不了「Key 还在、但所有读都打在一个槽上」。

参考

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

目录
  • 槽位决定它只有一个家
  • 副本只读实际分流了什么
  • 本地缓存剩下的回源
  • 写热点拆计数器,不要复制同一份值
  • 先证明是热 Key,再决定扩什么
  • 改完怎么验收
  • 参考
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档