门店导购在接待时看到的客户画像,和数据分析师在报表里看到的客户画像,往往不是同一份东西。前者要求秒级新鲜、可解释、能直接指导一句话术;后者允许 T+1、维度多、口径稳定。把两者塞进同一张宽表,结果是写入放大、回刷困难、线上查询抖动。
本文拆解一条画像特征链路的工程实现:事件如何采集、特征在哪里聚合、在线服务如何降级,以及最终接受了哪些一致性代价。
约束决定架构,不先写清楚就会被需求拖着改。
第三条常被忽略。标签一旦无法解释,导购不会信任它,后续的推荐与任务分派也就失去依据。
画像不建大宽表,改成"实体 + 标签定义 + 标签值 + 事件"四张表。宽表只作为查询加速层,随时可以重建。
CREATE TABLE customer_profile (
tenant_id BIGINT NOT NULL,
customer_id BIGINT NOT NULL,
stage TINYINT NOT NULL, -- 生命周期阶段
owner_id BIGINT NULL,
version BIGINT NOT NULL DEFAULT 0,
updated_at TIMESTAMP(3) NOT NULL,
PRIMARY KEY (tenant_id, customer_id)
);
CREATE TABLE tag_def (
tag_code VARCHAR(64) NOT NULL,
value_type TINYINT NOT NULL, -- 1 数值 2 枚举 3 布尔 4 列表
window_spec VARCHAR(32) NOT NULL, -- 例如 30d / 90d / all
source VARCHAR(32) NOT NULL, -- event / order / manual
version INT NOT NULL,
PRIMARY KEY (tag_code, version)
);
CREATE TABLE profile_tag (
tenant_id BIGINT NOT NULL,
customer_id BIGINT NOT NULL,
tag_code VARCHAR(64) NOT NULL,
tag_version INT NOT NULL,
value_num DECIMAL(18,4) NULL,
value_str VARCHAR(255) NULL,
computed_at TIMESTAMP(3) NOT NULL,
PRIMARY KEY (tenant_id, customer_id, tag_code)
);tag_def 带版本号,标签口径变更时新增版本而不是改原记录,历史标签值仍能对应到当时的定义。这一条让"三个月前的流失分是怎么算的"可以被回答。
业务库写订单、写跟进记录时,同步向 outbox 表插入一条事件,再由独立进程投递到消息队列。相比在业务代码里直接发消息,事务外盒避免了"库写成功、消息丢失"的不一致。
业务事务 {
INSERT order ...
INSERT outbox(event_type, payload, status='NEW')
}
投递进程: SELECT ... WHERE status='NEW' ORDER BY id LIMIT 500
-> 消息队列 -> UPDATE status='SENT'事件进入队列前要做归一:不同渠道的字段名、时间精度、主体标识必须统一。门店 POS、导购小程序、客服工单三套系统的时间戳精度分别是秒、毫秒、毫秒,如果不统一,窗口聚合会把边界事件算进相邻窗口,指标出现偶发跳变。
行为类特征用流式窗口聚合,交易类特征用微批。两者都写入同一个特征存储,但更新频率不同。
# 简化后的滑动窗口聚合逻辑
def aggregate(events, window_days=30):
cutoff = now() - timedelta(days=window_days)
state = {}
for e in events:
if e.occurred_at < cutoff:
continue
key = (e.tenant_id, e.customer_id)
s = state.setdefault(key, {"visits": 0, "amount": 0.0, "last_at": None})
if e.event_type == "STORE_VISIT":
s["visits"] += 1
elif e.event_type == "ORDER_PAID":
s["amount"] += e.amount
if s["last_at"] is None or e.occurred_at > s["last_at"]:
s["last_at"] = e.occurred_at
return state流任务的状态要设过期时间。客户量在百万级时,如果不清理长尾客户的窗口状态,检查点会持续膨胀,恢复时间从分钟级涨到小时级。按"最后事件时间 + 窗口长度 + 宽限"设置状态 TTL,是成本与正确性之间比较务实的折中。
在线画像读取走独立的特征服务,不直接查业务库。接口按客户 ID 批量点查,一次返回页面需要的全部标签,避免前端发十几个请求。
{
"customer_id": 88213,
"stage": "复购期",
"tags": {
"visit_30d": 6,
"amount_90d": 12800.0,
"prefer_category": "酱香",
"churn_score": 0.62
},
"computed_at": "2026-11-17T10:22:31+08:00",
"degraded": false
}缓存分两级:本地缓存承接热点客户,集中式缓存承接全量。缓存键必须带标签版本,否则口径升级后新旧值会混在一起。缓存失效采用"先更新特征存储、再删除缓存",并接受短暂脏读——画像不是账务数据,几秒的旧值对导购没有实质影响。
降级策略要写进接口契约:特征服务超时超过 200 毫秒,直接返回基础字段并置 degraded=true,页面展示"画像加载中"而不是报错。这个字段同时是监控指标,降级比例异常升高时能第一时间发现。
流式结果用于在线,离线结果用于对账。两条链路写入同一张特征表,用 computed_at 与批次号区分来源。每天凌晨跑一次对账任务,比较同一客户同一标签的在线值与离线值,偏差超过阈值的记录进入排查队列。
常见偏差来源有三类:迟到事件、重复投递、口径版本不一致。迟到事件靠水位线与允许延迟处理;重复投递靠事件 ID 去重;口径不一致靠标签版本隔离。三者都不能靠"重跑一遍"掩盖,否则问题会反复出现。
回刷时不要直接覆盖线上表,先写影子表,比对通过后再切换。切换动作本身要幂等,失败可以重试,不会产生半新半旧的数据。
这套设计放弃了两件事。
第一,放弃了强一致。在线画像允许秒级到分钟级的延迟,换取写入吞吐与查询稳定性。对于门店接待场景,这个代价可以接受;对于需要精确金额的场景,仍然回到交易库查询。
第二,放弃了"一次算全"。标签按需注册、按需计算,没有进入注册表的指标不会产生计算与存储成本。代价是新增标签需要走一次注册流程,不能随手在报表里加字段。
在门店数量多、客户体量大、导购流动性高的连锁零售场景里,画像的价值不在于标签数量,而在于链路是否稳定、口径是否可信、降级是否体面。这套分层结构在某连锁零售客户的门店画像模块中落地时,主要工作也集中在采集归一与口径治理,而不是模型本身。
360 画像本质是一条数据链路问题:事件采集保证不丢,窗口聚合保证可算,特征服务保证可读,对账与版本保证可信。把这四段拆开,各自有明确的契约与失败模式,系统才能在数据量增长后仍然可控。
原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。
如有侵权,请联系 cloudcommunity@tencent.com 删除。