# 「ＡＣＭＥ」和「a c m e」是同一个词：文本归一化能拦下 9 类变形，漏网的那类怎么补

## 起因

我给一条自动发布流水线加"发布前把关"：在真正打开浏览器之前把稿件扫一遍，把不该出现的词找出来，命中就直接拒发。想法很简单——一个词表、一个 `in` 判断，几十行代码的事。

第一版上线当天就是漏的。有人在词中间加个空格、把字母打成全角、或者从聊天窗口复制粘贴时夹进一个肉眼看不见的零宽字符，`词 in text` 立刻失效。**同一个词，能写出十几种外形完全不同的字符串，而它们在读者眼里是同一个词。**

这也不是内容把关独有的问题：

- **搜索**：用户输入 `ACME`，商品名里写的是 `ＡＣＭＥ`，命中不了；
- **去重**：标题只改了标点，系统就当成一篇新内容；
- **数据清洗**：同一家公司在两张表里两种写法，怎么都对不上。

后端的坑其实是同一个：**在比较之前，没有先做归一化。**

## 关键发现：只要先归一化，大多数变形会自己塌缩

我把已知的绕过手法列全跑了一遍，结论比预想的好：**Unicode 的兼容归一化（NFKC）会自动把全角、圈号、罗马数字、连字全部折叠成普通 ASCII**，而零宽字符和分隔符只需要各加一行处理。真正扛不住的只有一类——**同形异码**（比如西里尔字母 `а`，长得和拉丁字母 `a` 一模一样，但码点不同）。

实测结果：

| 变形手法 | 原始写法 | 归一化后 | 是否拦下 |
|---|---|---|---|
| 原样 | `acme` | `acme` | ✅ |
| 改大小写 | `ACME` | `acme` | ✅ |
| 全角 | `ＡＣＭＥ` | `acme` | ✅ |
| 插空格 | `a c m e` | `acme`（压扁后） | ✅ |
| 插横线/下划线/点号 | `a-c_m.e` | `acme` | ✅ |
| 圈号字母 | `ⓐⓒⓜⓔ` | `acme` | ✅ |
| 零宽字符 | `a` + U+200B + `c` + U+200D + `m` + U+2060 + `e` | `acme` | ✅ |
| 连字 | `ﬁle` | `file` | ✅ |
| 罗马数字 | `ⅽⅿⅾ` | `cmd` | ✅ |
| **同形异码** | `асme`（首字母是西里尔 а） | `асme`（纹丝不动） | ❌ 漏网 |

十种写法，九种被拦下，唯独同形异码原地不动——因为 NFKC 只处理"兼容字符"，而 U+0430 是一个正经的西里尔字母，不属于任何兼容变体。

## 实现：三层归一化 + 双向匹配

整个东西纯标准库，没有依赖：

```python
import re
import unicodedata

# 不可见字符：零宽空格 / 零宽非连接符 / 零宽连接符 / 词连接符 / BOM
ZERO_WIDTH = dict.fromkeys(map(ord, "\u200b\u200c\u200d\u2060\ufeff"), None)


def normalize(s: str) -> str:
    """第一层：兼容归一化 + 剔除不可见字符 + 小写"""
    s = unicodedata.normalize("NFKC", s)   # 全角→半角、圈号→字母、连字→双字母、罗马数字→ascii
    s = s.translate(ZERO_WIDTH)            # 零宽类字符直接删掉
    s = "".join(ch for ch in s
                if not unicodedata.category(ch).startswith("C"))  # 控制/格式字符一律剔除
    return s.lower()


def squash(s: str) -> str:
    """第二层：再去掉分隔符。注意 \\s 已覆盖各类空白，别写成 [\\s-_]"""
    return re.sub(r"[\s\-_.,\u00b7\u2022*|/\\]+", "", normalize(s))


def scan(text: str, words) -> list:
    """第三层：双向匹配——原样查一次，压扁后再查一次"""
    flat, tight = normalize(text), squash(text)
    return [w for w in words if normalize(w) in flat or squash(w) in tight]
```

两个设计点值得单独说：

**① 双向匹配，而不是二选一。** 只做原样匹配，拦不住 `a-c_m-e`；只做压扁匹配，会把本来正常的词误伤（压扁之后 `wechat` 和 `we chat` 变成一个东西）。两个都查、任一命中即算命中，误伤和漏网都最小。

**② 词表和目标文本必须过同一套函数。** 如果词表里躺的是人工写好的"干净形态"，而目标文本被压扁了，两边就永远对不上——你以为在防变形，实际在制造新的不一致。

## 补齐漏网的那类：同形字折叠

NFKC 不折叠同形异码，这一层只能自己加。好消息是**不需要全量 Unicode 混淆字表**：只覆盖你真正在乎的那几十个字符就够了。

```python
# 常用西里尔字母 → 拉丁字母；按需扩展，不必求全
HOMOGLYPH = {
    "а": "a", "с": "c", "е": "e", "р": "p", "о": "o",
    "х": "x", "у": "y", "ѕ": "s", "і": "i", "ј": "j",
    "А": "a", "С": "c", "Е": "e", "Р": "p", "О": "o",
}


def fold_homoglyph(s: str) -> str:
    return "".join(HOMOGLYPH.get(ch, ch) for ch in s)


# 折进主流程：先折同形字，再走原来的归一化
def scan_hardened(text: str, words) -> list:
    return scan(fold_homoglyph(text), words)
```

实测前后对比：裸扫 `асme` 是**漏网**，先过 `fold_homoglyph` 再扫是**命中**。

代价要说清楚：**折同形字是单向的，会引入误判风险。**比如把西里尔 `р` 折成 `p` 之后，一段正常的俄文文本可能被误伤。所以我的做法是——折同形字这一步只在"高危词"上启用，普通敏感性的话题词不折。**把"哪些词值得启用这一层"当成配置，不要一刀切成全局规则。**

## 顺便解决第二个问题：标题近似去重

同一套归一化顺手还能做幂等。发布前判断"这个标题是不是发过"，用 `difflib` 就够，不需要向量、不需要分词：

```python
from difflib import SequenceMatcher


def is_duplicate(a: str, b: str, threshold: float = 0.85) -> bool:
    x, y = squash(a), squash(b)
    if x[:15] == y[:15]:                      # 前 15 字一致 → 直接判重
        return True
    return SequenceMatcher(None, x, y).ratio() >= threshold
```

阈值取多少，实测两次就有数了（下表是我跑真实标题对得到的相似度）：

| 标题 A | 标题 B | 相似度 | 判定 |
|---|---|---|---|
| 微信小程序里解析 STL 并生成 A4 PDF | 微信小程序解析 STL 生成 A4 PDF | 0.944 | 重复 |
| 用 Python 给 AI 做一份积分账单 | 用 Python 给 AI 做一份积分帐单 | 0.941 | 重复 |
| playwright-core 复用本机 Chrome 的实践 | Puppeteer 复用本机 Chrome 的实践 | 0.612 | 不重复 |
| SQLite 只读 URI 的三个坑 | 用 Python 读 SQLite 的三个坑 | 0.606 | 不重复 |

同一篇文章的改写稳定落在 0.94 附近，不同主题稳定在 0.61 以下——**0.85 这个阈值有一段很宽的安全区**，不用精调。

## 踩坑表

| 坑 | 现象 | 解法 |
|---|---|---|
| 只做 `lower()` | 全角 `ＡＣＭＥ`、圈号 `ⓐⓒ` 全部漏网 | 前面必须先做一次 `unicodedata.normalize("NFKC", ...)` |
| 正则写成 `[\s-_]` | **直接抛异常**：`bad character range \s-_`（3.13 里的类名是 `re.PatternError`，旧版本叫 `re.error`） | `-` 放到字符类末尾，或显式写成 `\-` |
| 漏掉零宽字符 | 人眼看不出，复制粘贴带进来，匹配失败还查不出原因 | 按 Unicode 类别剔除 `C*`，别只 replace 几个已知码点 |
| 拿 `lower()` 当大小写折叠 | `"ß".lower()` 还是 `ß`，但 `"ß".casefold()` 是 `ss` | 比对用户名/多语言文本改用 `casefold()` |
| 指望 NFKC 解决同形异码 | 西里尔 `а` 看着就是 `a`，但永远匹配不上 | 自建小映射表折叠，且只在高危词上启用 |
| 归一化写在比较的内层 | 每比一个词就把全文重算一遍，200 词意味着重算 200 遍 | 文本只归一化一次，缓存 `flat` / `tight` 两个版本 |
| 扫描器出错就放行 | 异常被 `except` 吞掉，等于没检查 | **fail-closed**：异常一律当命中处理，拒发并告警 |
| 词表与文本归一化不对称 | 词表写裸词、目标已压扁，怎么都匹配不上 | 两侧过同一套函数 |

## 效果

- **性能**：9.2 万字符正文 × 200 个目标词，单线程纯标准库一次扫描 **125 ms**。这个量级完全不用上 Aho-Corasick 或正则拼接，`in` + 两次归一化就够；
- **覆盖率**：十种已知变形写法，九种正确拦下，剩下一种（同形异码）用一张十行的映射表补齐；
- **去重**：标题近似判重阈值 0.85 实测稳定（同文改写 0.94，异题 0.61）；
- **工程形态**：把关逻辑从"提示词里的一句要求"变成"脚本里的一道硬闸门"——命中即拒发、自动归档、返回专属退出码。**确定性靠代码，不靠模型自觉。**

## 你可以怎么用

这套东西的价值不在于某个词表，而在于一个可复用的顺序：

1. **比较任何文本之前先归一化**，顺序固定为：`NFKC` → 剔除不可见字符 → 折叠大小写 → 按需去分隔符。搜索命中、用户名查重、标题去重、关键词拦截，全都吃这一套。
2. **两侧对称**：词表和目标文本过同一个函数。不对称的归一化，比不归一化更难排查。
3. **同形字折叠是个取舍**：全量混淆字表又大又难维护，只覆盖你真正在乎的那几十个字符，并把"不折叠"当成一个有意写下的决定，而不是遗漏。
4. **兜底一律 fail-closed**：所有"检查类"代码，出错时应该更严格而不是更宽松。这一条比前面所有技巧都重要。

---

> **关于作者**：10 年跨境电商老兵，拥抱 AI 时代。这里记录我踩过的坑和跑通的方法。

---

我给一条自动发布流水线加"发布前把关"：在真正打开浏览器之前把稿件扫一遍，把不该出现的词找出来，命中就直接拒发。想法很简单——一个词表、一个 in 判断，几十行代码的事。

「ＡＣＭＥ」和「a c m e」是同一个词：文本归一化能拦下 9 类变形，漏网的那类怎么补

同一个词有十几种写法：全角、零宽、圈号、连字、分隔符、同形异码。本文用 30 行纯标准库 Python 把它们逐个实测，并给出仍然漏网的那类怎么补。

编程语言

开发工具

算法

通过NFKC归一化、剔除不可见字符及大小写折叠，可拦截9类文本变形，覆盖全角、空格、零宽字符等场景；同形异码需自建映射表补充，仅用于高危词。双层匹配与fail-closed策略确保准确性，125ms处理9.2万字符，支持标题去重，是搜索、去重、清洗的通用预处理方案。

数据清洗

代码解释

SQLite

Python

2026上云采购 | AI焕新·智启新局

文章

问答

视频

教程

学习中心

腾讯云实验室

直播

竞赛

腾讯云代码分析专区

腾讯iOA零信任安全管理系统专区

腾讯云架构师技术同盟交流圈

腾讯云数据库专区

腾讯云智能顾问专区

腾讯云原生专区

腾讯混元专区

腾讯云TCE专区

腾讯云Lighthouse专区

腾讯云HAI专区

腾讯云Edgeone专区

腾讯云存储专区

腾讯云智能专区

腾讯轻联专区 

腾讯云开发专区

TAPD专区

腾讯轻量云游戏服专区

EdgeOne AI 安全实战专区

腾讯云最具价值专家

腾讯云架构师技术同盟

腾讯云创作之星

腾讯云开发者先锋

腾讯云代码助手

云原生构建

TAPD 敏捷项目管理

Cloud Studio

SDK中心

API中心

命令行工具

涵盖代码开发、场景应用、自动测试全流程，助你从零构建专属AI助手

一站式MCP教程库，解锁AI应用新玩法

聚焦“写作效率、视觉美观与运行性能”三方面进行全面升级，为您提供更高效、稳定的创作环境

社区富文本&Markdown编辑器全新改版上线，欢迎大家体验!

诚挚邀请您参与本次调研，分享您的真实使用感受与建议。您的反馈至关重要，感谢您的支持与参与！

社区新版编辑器体验调研

「ＡＣＭＥ」和「a c m e」是同一个词：文本归一化能拦下 9 类变形，漏网的那类怎么补-腾讯云开发者社区-腾讯云

「ＡＣＭＥ」和「a c m e」是同一个词：文本归一化能拦下 9 类变形，漏网的那类怎么补

「ＡＣＭＥ」和「a c m e」是同一个词：文本归一化能拦下 9 类变形，漏网的那类怎么补

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐