Elasticsearch 已具备所需的构建模块。其分析器会把文本转换为索引存储、查询查找的词项,因此自定义分析器可以在为文档建立索引以及检查消息时直接生成这些短语。
standard tokenizer 将文本切分为单词并去除标点,lowercase 和 asciifolding 过滤器消除大小写与重音差异,因此 "Immersion fluid, usually oil" 和 "immersion fluid usually Oil" 会生成相同短语。shingle token filter 随后将每连续八个单词合并为一个词项。演示项目的 mappings/index.json 基于这些组件定义了两个分析器:用于索引的 fingerprint_8,以及用于查询的 fingerprint_8_search,后者额外加入一个用于样板文本的停用词列表:
{
"settings": {
"analysis": {
"filter": {
"shingle_8": {
"type": "shingle",
"min_shingle_size": 8,
"max_shingle_size": 8,
"output_unigrams": false
},
"boilerplate_stop": {
"type": "stop",
"stopwords": "_none_"
}
},
"analyzer": {
"fingerprint_8": {
"type": "custom",
"tokenizer": "standard",
"filter": ["lowercase", "asciifolding", "shingle_8"]
},
"fingerprint_8_search": {
"type": "custom",
"tokenizer": "standard",
"filter": ["lowercase", "asciifolding", "shingle_8", "boilerplate_stop"]
}
}
}
},
"mappings": {
"properties": {
"body": {
"type": "text",
"analyzer": "fingerprint_8",
"search_analyzer": "fingerprint_8_search",
"index_options": "offsets",
"norms": false
}
}
}
}两个字段选项很关键。index_options: offsets 存储每个短语的字符位置,使高亮器能够显示被复制的词语。norms: false 阻止文档长度影响评分,因为短段落被复制进长文档,与粘贴进短文档一样都是复制。

图 3:同一个短语构建分析器既处理建立索引时的受保护文档,也处理检查时的消息。
一次检查会把整条消息放入 match query。搜索分析器将消息切分为相同短语,共享至少一个短语的受保护文档会返回,匹配最强的排在最前:
要搜索受保护的文档,请使用以下查询:
GET protected-docs/_search
{ "query": {"match": {"body": {"query": "<the whole message>"}}}}如需更精确的匹配,请设置 minimum_should_match 参数,例如至少匹配三个词语:
GET protected-docs/_search
{
"query": {
"match": {
"body": {
"query": "<the whole message>",
"minimum_should_match": 3
}
}
}
}如果消息重复某个短语,查询会每次都计数,因此在触发告警前,统计每个返回文档与消息共享的不同短语数量,并找出最长的不间断复制片段。match 查询返回文档和高亮;统计不同短语和查找最长连续片段需要在 analyze API 之上写少量客户端代码,如演示中的 check.py。搜索只返回少量文档,因此这项检查增加的工作很少。
对于每个匹配文档,unified highlighter 会返回受保护文本,并标记每个共享短语。向同一搜索添加 highlight 块;将 number_of_fragments 设为 0,它会返回整个字段而不是短片段:
GET protected-docs/_search
{
"query": {
"match": {
"body": {
"query": "<the whole message>",
"minimum_should_match": 3
}
}
},
"highlight": {
"fields": {
"body": {
"type": "unified",
"number_of_fragments": 0
}
}
}
}高亮器使用索引中存储的偏移量来标记每个匹配文档中被复制的词语。对于图 1 中的邮件,响应包含(此处已缩短):
"highlight": { "body": ["... introduced between the magnifying glass device and the surface of the skin. <em>A few drops of immersion fluid, usually oil, are applied between the glass surface and the skin surface</em>. This technique reduces the amount of light ..."]}要在消息中标记相同词语,使用 analyze API 让消息经过同一分析器,它会返回每个短语及其字符偏移量。如图 1 所示,两侧的证据能让审核人员快速做出判断。
有些短语会出现在许多文档中,原因与复制毫无关系。这些短语包括免责声明、签名、标准标题和套话,例如 "it should be understood that there is no…"。在泄漏检查中,它们会引发误报,因为一封与受保护文档共享页脚的邮件并没有泄露任何内容。
Elasticsearch 可以通过 stop token filter 在查询时忽略词项。它通常用于单个词,例如 "the" 和 "and",但也可以作用于完整的八词短语。只把它放在搜索分析器的末尾,正如上文映射中 fingerprint_8_search 所做的那样。索引会保留每个短语,因此同一批文档仍然支持分类,而泄漏检查永远不会请求列表中的短语。
要构建列表,先找出出现在许多文档中的短语。抽取文档随机样本,使用 multiple term vectors API 读取其存储的短语,然后统计每个短语出现在多少个抽样文档中。演示中的 boilerplate.py 用一个简短脚本完成这项工作。将最高频的短语作为候选,再用一次 filters 聚合在整个索引上精确计数:
GET protected-docs/_search
{ "size": 0, "aggs": { "common": { "filters": { "filters": { "of the invention the present invention relates to": {"term": {"body": "of the invention the present invention relates to"}}, "brief description of the drawings fig 1 is": {"term": {"body": "brief description of the drawings fig 1 is"}} } } } }}每个桶的 doc_count 就是包含该短语的文档数量。在演示的 2,000 项专利中,最常见的短语 "of the invention the present invention relates to" 出现在 295 个文档里。出现文档数超过所设阈值的短语会进入停用词列表。同时加入你自己的样板文本,例如邮件页脚和免责声明,因为这些正是你的流量与文档共享的短语。
"boilerplate_stop": { "type": "stop", "stopwords": [ "of the invention the present invention relates to", "brief description of the drawings fig 1 is" ]}然后根据是否仍需用样板文本做分类,选择以下两种方式之一应用它:
在我们的测试中,一个只包含最常见短语的检查在应用列表前匹配了 295 个文档(应用后为零),而同样的检查在使用索引分析器时仍匹配全部 295 个文档。实践中,应在数据的非生产副本上构建并审阅列表,然后用它创建生产索引。我们测试了包含几百个短语的列表。当模板或页脚发生变化时请审阅列表,因为列表中的短语将无法再找到匹配。
对于分类——样板文本正是信号——请使用索引分析器查询同一索引,这样停用词列表不会生效:
{
"match": {
"body": {
"query": "<the message>",
"analyzer": "fingerprint_8"
}
}
}有两个控制项决定什么算作匹配:短语长度和匹配规则。(停用词列表见 使用停用词忽略样板短语。)两者都在“捕获多少复制内容”与“产生多少误报”之间做权衡。
短语长度就是分析器中的 min_shingle_size 和 max_shingle_size 组合:
短语长度属于索引分析器的一部分,因此修改它意味着重新索引。在确定长度前,先用你自己的文档和流量样本尝试两三种长度。
匹配规则是你最常调整的控制项:
规则 | 能捕获什么 | 代价是什么 |
|---|---|---|
任意共享短语 | 短小且轻度编辑的复制内容 | 常见短语会触发它,且误报会随受保护集合增大而增加 |
至少三个共享短语 | 20 词及以上的复制内容,包括轻度编辑的版本 | 误报远少于“任意”规则 |
5–10 个共享短语 | 较长的复制内容 | 会漏掉带编辑的短复制内容 |
连续不间断复制片段达 16 词及以上 | 段落的精确复制 | 片段内任何编辑都会破坏匹配 |
对于泄漏检测,两层规则效果很好。宽松规则(例如至少三个共享短语)送入审核队列,并捕获经过编辑的复制内容。严格规则(例如连续复制片段达 16 词)为几乎无需审核的精确复制发出高置信度告警。作为合理性检查,我们用 Enron Email Dataset 中的真实邮件对最多 174,000 项专利进行检测;“至少三个”规则找出了我们插入的每一段专利段落,包括大约每 12 个词改一个词的版本,并对每 1,000 封邮件中约 1.2 封未复制任何内容的邮件发出标记。按每天 100,000 条消息计算,这仍意味着约 120 次审核,因此选择规则前请用自己的数据测量。
文本指纹能容忍编辑并保持低误报。它还能显示匹配来自哪个文档以及复制了哪些词。
用例 | 要回答的问题 | 索引什么 | 起点 |
|---|---|---|---|
邮件、聊天和 GenAI 提示中的数据泄漏 | 受保护文本是否外泄?哪些词? | 你的受保护文档 | 八词短语、至少三个共享,再加 16 词连续片段用于高置信度告警 |
抄袭与近似重复,包括检索增强生成(RAG)前的去重 | 这段文字是否被复用?来自哪里? | 源文档或集合本身 | 较短短语搭配更严格的匹配规则 |
法律取证与调查 | 这份已知文档或条款还出现在哪里? | 待审阅的集合 | 八词短语,每个已知段落一次搜索 |
模板与分类,例如钓鱼 | 这段文本与哪个已知模板共享内容? | 已知模板和样板文本 | 用索引分析器统计样板文本 |
这些检查大多是用一条消息搜索许多受保护文档。你也可以反过来做:用同一分析器为消息建立索引,并定期用一份已知文本对最近的消息运行检查。这适合少量高价值文本,例如正在传播的钓鱼模板,或你想追踪的已泄漏段落。它也适用于绝不应离开公司的免责声明。
GET messages/_search
{
"query": {
"bool": {
"must": [
{
"match": {
"body": {
"query": "<the known text>",
"minimum_should_match": 3
}
}
}
],
"filter": [
{
"range": {
"@timestamp": {
"gte": "now-15m"
}
}
}
]
}
},
"highlight": {
"fields": {
"body": {
"type": "unified",
"number_of_fragments": 0
}
}
}
}在 Elastic Cloud Serverless 上的一次测试中,该查询返回了过去 15 分钟内引用了某个钓鱼模板的邮件,并高亮显示了被复制的词语,同时忽略了五小时前发送的同一模板以及一封无关邮件。Kibana Elasticsearch query rule 可以定期运行 match 部分,并对 @timestamp 应用自己的时间窗口,还能在消息匹配时告警。我们测试了查询,规则设置可作为起点进行调整。这种模式在消息发出后检测它;阻断需要强制执行点,例如先运行检查的邮件网关。
银行、保险公司、制药公司和律师事务所希望团队使用前沿模型,但也需要控制离开组织的内容,并向审计人员证明他们正在这样做。提示不过是另一种外发消息,因此同样的检查可以放在模型前面。
在用户的聊天工具与模型提供商之间放置代理。对于每个请求,代理将用户文本以相同的 match 查询发送到 Elasticsearch,仅当没有受保护文档匹配时才转发请求。根据你信任的匹配规则进行阻断,例如在样板文本停用词列表之后“至少三个共享短语”,并记录较弱匹配以供审核。检查每条消息的文本,因为客户端会在每次请求中发送完整历史。如果检查本身失败,我们建议阻断请求。
演示包含一个小型代理 proxy.py——它是草图而非生产网关——在 OpenAI 风格的聊天端点后面执行此操作,并通过 Elasticsearch Inference API 将允许的提示转发给模型。
在演示数据上,以至少三个共享短语为规则:
它无法捕获有人(或另一个模型)事先改写的段落。这是复制检测的局限,因此要与其他控制措施配合使用。每次检查都会向 Elasticsearch 增加几个请求,因此应让阻断集群靠近代理以保持速度。
指纹捕获被复制的段落。许多策略关注的是已知词项,例如项目代号、客户名称或账号格式。percolator 将这些规则存储为查询,并在一次请求中用所有规则检查每条消息。在同一集群中对同一消息运行两种检查,代理就能获得一个包含各方证据的决策。
监管机构(有时在数年后)会询问发送了什么、由谁发送,以及什么被阻断了。Elasticsearch 是这类记录的良好长期存储。将每个提示、响应、决策和匹配文档写入 data stream,将近期数据保存在快速存储上。通过索引生命周期管理将较旧数据迁移到更便宜的层级(在 Serverless 上,数据流生命周期负责保留),并用 ES|QL 和 Kibana 仪表板进行分析。为这两项工作使用独立集群:
代理可以自行写入审计记录,也可以通过 OpenTelemetry(OTel)发送。一些大语言模型(LLM)网关和 SDK 可以原生导出 GenAI 遥测数据,Elastic 通过 OpenTelemetry Protocol(OTLP)接收,途径包括 Elastic Cloud 上的托管 OTLP 端点,或自管理时的 Elastic Distribution of OpenTelemetry(EDOT)Collector。在 OTel 中记录提示和响应内容通常是可选项,因此请有意开启。
Elasticsearch 中的倒排索引专为快速回答一个问题而构建:哪些文档包含这个词项? 指纹技术将复制检测变成正是这个问题,以八词短语作为词项。一次检查就是一次搜索,因此可以预期它像你的其他搜索一样扩展,在自管理 Elasticsearch 或 Elastic Cloud Hosted(ECH)上通过分片和副本,在 Serverless 上通过自动扩缩容实现。
有三件事会随数据增长:
在单台笔记本节点上,当受保护集合从 1,000 项专利增长到 174,000 项时,查询时间没有明显变化,Serverless 也发现了相同的误报。
请为以下持续成本做好规划:
指纹和语义搜索回答不同的问题。指纹 寻找相同词语,这是你作为复制证据所需要的。语义搜索 寻找关于相同概念的文本,这是大多数搜索体验所需要的。
文件哈希是第三种选择,三者在“找到什么”和“能展示什么”上有所不同:
文本指纹 | 语义搜索 | 文件哈希(MD5) | |
|---|---|---|---|
找到 | 相同词语连续片段 | 相似含义 | 相同文件 |
能承受编辑 | 是,部分 | 是 | 否 |
找到改写文本 | 否 | 是 | 否 |
需调优的阈值 | 共享短语数或连续片段长度 | 相似度分数 | 无 |
展示证据 | 高亮显示的复制词语 | 分数 | 仅文件匹配 |
主题重叠导致的误报 | 低 | 高 | 无 |
这一差异在误报方面最为重要。在语义搜索中,每个文档在某种程度上都与查询相似,因此检查总会返回一些结果,难点在于选择相似度阈值。设低阈值,每封与专利主题相同的邮件都会变成告警;设高阈值,短复制段落会漏过,因为三句话的引用几乎不会改变长邮件的含义。指纹技术给你一个可以推理和解释的阈值,例如共享短语数量或复制词语连续片段,审核人员可以看到高亮显示。
当文本被改写或摘要,或被翻译时,语义搜索是正确工具,因为这些文本共享含义而几乎没有相同短语。两种技术互补,混合搜索可以结合它们;例如,用指纹提供复制证据,用语义搜索为改写内容提供线索。
指纹能发现被复制和轻度编辑的文本。它无法发现被大幅改写或摘要的文本,也无法发现被翻译的文本。短于短语长度的文本根本不会生成短语,因此永远无法匹配。
了解检查机制的人可以绕过它。以下每种场景都会减少或消除共享短语:
指纹是应对常见复制粘贴场景的良好检查,因此如果担心蓄意规避,请与其他控制措施结合使用。
消息长度也有实际限制,包括:
我们的测试使用单节点上的一个分片和一个 Serverless 项目,最多 174,000 个文档,并用专利对邮件进行检测。请将扩展性结果视为该方法可行的信号,而非容量规划指南。
本文附带的演示是一个带 Web 界面的小型 Python 应用。它将 2,000 项专利描述和八个虚构钓鱼模板加载到使用前述映射的索引中。你可以粘贴任意文本,查看它复制自哪些受保护文档,并在两侧高亮显示被复制的词语。

图 4:演示在两侧显示被复制的词语和共享短语数量,以及最长的复制片段。
运行它是感受这些控制项的最快方式。试试示例邮件,逐词编辑一段复制内容,观察匹配如何减弱。切换匹配规则,并使用 Common phrases 标签页查找样板文本并将其应用为停用词列表。你也可以加载自己的文本文件文件夹,并用邮件对它们进行检查。
代码位于 elasticsearch-labs 仓库,其 README 包含完整设置步骤。
原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。
如有侵权,请联系 cloudcommunity@tencent.com 删除。