首页
学习
活动
专区
圈层
工具
发布
社区首页 >专栏 >Elasticsearch文本指纹实战:十七万专利仅靠match一次查询,九成九复制提示被标记,两百封普通邮件实测竟零误报?

Elasticsearch文本指纹实战:十七万专利仅靠match一次查询,九成九复制提示被标记,两百封普通邮件实测竟零误报?

原创
作者头像
点火三周
发布于 2026-11-19 09:58:56
发布于 2026-11-19 09:58:56
161
举报
文章被收录于专栏:Elastic Stack专栏Elastic Stack专栏

Elasticsearch 已具备所需的构建模块。其分析器会把文本转换为索引存储、查询查找的词项,因此自定义分析器可以在为文档建立索引以及检查消息时直接生成这些短语。

使用 shingle 分析器为受保护文档建立索引

standard tokenizer 将文本切分为单词并去除标点,lowercase 和 asciifolding 过滤器消除大小写与重音差异,因此 "Immersion fluid, usually oil" 和 "immersion fluid usually Oil" 会生成相同短语。shingle token filter 随后将每连续八个单词合并为一个词项。演示项目的 mappings/index.json 基于这些组件定义了两个分析器:用于索引的 fingerprint_8,以及用于查询的 fingerprint_8_search,后者额外加入一个用于样板文本的停用词列表:

代码语言:json
复制
{
  "settings": {
    "analysis": {
      "filter": {
        "shingle_8": {
          "type": "shingle",
          "min_shingle_size": 8,
          "max_shingle_size": 8,
          "output_unigrams": false
        },
        "boilerplate_stop": {
          "type": "stop",
          "stopwords": "_none_"
        }
      },
      "analyzer": {
        "fingerprint_8": {
          "type": "custom",
          "tokenizer": "standard",
          "filter": ["lowercase", "asciifolding", "shingle_8"]
        },
        "fingerprint_8_search": {
          "type": "custom",
          "tokenizer": "standard",
          "filter": ["lowercase", "asciifolding", "shingle_8", "boilerplate_stop"]
        }
      }
    }
  },
  "mappings": {
    "properties": {
      "body": {
        "type": "text",
        "analyzer": "fingerprint_8",
        "search_analyzer": "fingerprint_8_search",
        "index_options": "offsets",
        "norms": false
      }
    }
  }
}

两个字段选项很关键。index_options: offsets 存储每个短语的字符位置,使高亮器能够显示被复制的词语。norms: false 阻止文档长度影响评分,因为短段落被复制进长文档,与粘贴进短文档一样都是复制。

Elasticsearch 文本指纹流程:同一个 shingle 分析器为受保护文档建立索引并检查消息
Elasticsearch 文本指纹流程:同一个 shingle 分析器为受保护文档建立索引并检查消息

图 3:同一个短语构建分析器既处理建立索引时的受保护文档,也处理检查时的消息。

用一次 match 查询检查消息

一次检查会把整条消息放入 match query。搜索分析器将消息切分为相同短语,共享至少一个短语的受保护文档会返回,匹配最强的排在最前:

要搜索受保护的文档,请使用以下查询:

代码语言:json
复制
GET protected-docs/_search
{  "query": {"match": {"body": {"query": "<the whole message>"}}}}

如需更精确的匹配,请设置 minimum_should_match 参数,例如至少匹配三个词语:

代码语言:json
复制
GET protected-docs/_search
{
  "query": {
    "match": {
      "body": {
        "query": "<the whole message>",
        "minimum_should_match": 3
      }
    }
  }
}

如果消息重复某个短语,查询会每次都计数,因此在触发告警前,统计每个返回文档与消息共享的不同短语数量,并找出最长的不间断复制片段。match 查询返回文档和高亮;统计不同短语和查找最长连续片段需要在 analyze API 之上写少量客户端代码,如演示中的 check.py。搜索只返回少量文档,因此这项检查增加的工作很少。

使用 unified highlighter 显示被复制的词语

对于每个匹配文档,unified highlighter 会返回受保护文本,并标记每个共享短语。向同一搜索添加 highlight 块;将 number_of_fragments 设为 0,它会返回整个字段而不是短片段:

代码语言:json
复制
GET protected-docs/_search
{
  "query": {
    "match": {
      "body": {
        "query": "<the whole message>",
        "minimum_should_match": 3
      }
    }
  },
  "highlight": {
    "fields": {
      "body": {
        "type": "unified",
        "number_of_fragments": 0
      }
    }
  }
}

高亮器使用索引中存储的偏移量来标记每个匹配文档中被复制的词语。对于图 1 中的邮件,响应包含(此处已缩短):

代码语言:json
复制
"highlight": {  "body": ["... introduced between the magnifying glass device and the surface of the skin. <em>A few drops of immersion fluid, usually oil, are applied between the glass surface and the skin surface</em>. This technique reduces the amount of light ..."]}

要在消息中标记相同词语,使用 analyze API 让消息经过同一分析器,它会返回每个短语及其字符偏移量。如图 1 所示,两侧的证据能让审核人员快速做出判断。

使用停## 使用停用词忽略样板短语

有些短语会出现在许多文档中,原因与复制毫无关系。这些短语包括免责声明、签名、标准标题和套话,例如 "it should be understood that there is no…"。在泄漏检查中,它们会引发误报,因为一封与受保护文档共享页脚的邮件并没有泄露任何内容。

Elasticsearch 可以通过 stop token filter 在查询时忽略词项。它通常用于单个词,例如 "the" 和 "and",但也可以作用于完整的八词短语。只把它放在搜索分析器的末尾,正如上文映射中 fingerprint_8_search 所做的那样。索引会保留每个短语,因此同一批文档仍然支持分类,而泄漏检查永远不会请求列表中的短语。

要构建列表,先找出出现在许多文档中的短语。抽取文档随机样本,使用 multiple term vectors API 读取其存储的短语,然后统计每个短语出现在多少个抽样文档中。演示中的 boilerplate.py 用一个简短脚本完成这项工作。将最高频的短语作为候选,再用一次 filters 聚合在整个索引上精确计数:

代码语言:json
复制
GET protected-docs/_search
{  "size": 0,  "aggs": {    "common": {      "filters": {        "filters": {          "of the invention the present invention relates to": {"term": {"body": "of the invention the present invention relates to"}},          "brief description of the drawings fig 1 is": {"term": {"body": "brief description of the drawings fig 1 is"}}        }      }    }  }}

每个桶的 doc_count 就是包含该短语的文档数量。在演示的 2,000 项专利中,最常见的短语 "of the invention the present invention relates to" 出现在 295 个文档里。出现文档数超过所设阈值的短语会进入停用词列表。同时加入你自己的样板文本,例如邮件页脚和免责声明,因为这些正是你的流量与文档共享的短语。

代码语言:json
复制
"boilerplate_stop": {  "type": "stop",  "stopwords": [    "of the invention the present invention relates to",    "brief description of the drawings fig 1 is"  ]}

然后根据是否仍需用样板文本做分类,选择以下两种方式之一应用它:

  • 仅搜索分析器。 在现有索引上更新列表。索引保留每个短语,因此下面的分类查询仍然有效。演示中的 Apply 按钮执行此操作。
  • 同时用于索引分析器。 将过滤器加入索引分析器,创建新索引,用 reindex API 将文档复制过去,并让检查指向新索引,例如通过移动别名。列表中的短语不再被索引,因此索引更小,但你也无法再用样板文本做分类计数。

在我们的测试中,一个只包含最常见短语的检查在应用列表前匹配了 295 个文档(应用后为零),而同样的检查在使用索引分析器时仍匹配全部 295 个文档。实践中,应在数据的非生产副本上构建并审阅列表,然后用它创建生产索引。我们测试了包含几百个短语的列表。当模板或页脚发生变化时请审阅列表,因为列表中的短语将无法再找到匹配。

对于分类——样板文本正是信号——请使用索引分析器查询同一索引,这样停用词列表不会生效:

代码语言:html
复制
{
  "match": {
    "body": {
      "query": "<the message>",
      "analyzer": "fingerprint_8"
    }
  }
}

调优文本指纹:短语长度与匹配规则

有两个控制项决定什么算作匹配:短语长度和匹配规则。(停用词列表见 使用停用词忽略样板短语。)两者都在“捕获多少复制内容”与“产生多少误报”之间做权衡。

短语长度:5、8 或 12 个词

短语长度就是分析器中的 min_shingle_size 和 max_shingle_size 组合:

  • 较短短语(约五个词)能发现更短的复制内容,并能在更重的编辑下存活,但普通短语更容易偶然匹配,因此应搭配更严格的匹配规则。
  • 在本演示中,八个词效果良好,是合理的起点,但值得根据你的用例调优长度。
  • 较长短语(约 12 个词)偶然匹配的概率更低,但需要更长的未编辑连续片段。

短语长度属于索引分析器的一部分,因此修改它意味着重新索引。在确定长度前,先用你自己的文档和流量样本尝试两三种长度。

匹配规则:多少个共享短语算作复制

匹配规则是你最常调整的控制项:

规则

能捕获什么

代价是什么

任意共享短语

短小且轻度编辑的复制内容

常见短语会触发它,且误报会随受保护集合增大而增加

至少三个共享短语

20 词及以上的复制内容,包括轻度编辑的版本

误报远少于“任意”规则

5–10 个共享短语

较长的复制内容

会漏掉带编辑的短复制内容

连续不间断复制片段达 16 词及以上

段落的精确复制

片段内任何编辑都会破坏匹配

对于泄漏检测,两层规则效果很好。宽松规则(例如至少三个共享短语)送入审核队列,并捕获经过编辑的复制内容。严格规则(例如连续复制片段达 16 词)为几乎无需审核的精确复制发出高置信度告警。作为合理性检查,我们用 Enron Email Dataset 中的真实邮件对最多 174,000 项专利进行检测;“至少三个”规则找出了我们插入的每一段专利段落,包括大约每 12 个词改一个词的版本,并对每 1,000 封邮件中约 1.2 封未复制任何内容的邮件发出标记。按每天 100,000 条消息计算,这仍意味着约 120 次审核,因此选择规则前请用自己的数据测量。

用例:数据泄漏、抄袭、法律取证与钓鱼

文本指纹能容忍编辑并保持低误报。它还能显示匹配来自哪个文档以及复制了哪些词。

用例

要回答的问题

索引什么

起点

邮件、聊天和 GenAI 提示中的数据泄漏

受保护文本是否外泄?哪些词?

你的受保护文档

八词短语、至少三个共享,再加 16 词连续片段用于高置信度告警

抄袭与近似重复,包括检索增强生成(RAG)前的去重

这段文字是否被复用?来自哪里?

源文档或集合本身

较短短语搭配更严格的匹配规则

法律取证与调查

这份已知文档或条款还出现在哪里?

待审阅的集合

八词短语,每个已知段落一次搜索

模板与分类,例如钓鱼

这段文本与哪个已知模板共享内容?

已知模板和样板文本

用索引分析器统计样板文本

  • 数据泄漏。 在依赖知识产权的行业中,安全和内部风险团队需要知道受保护文本何时通过邮件、聊天或工单外泄,以及何时通过粘贴到 GenAI 工具中的提示外泄。受保护集合可能是专利草稿、合同、源文档或董事会文件。Elasticsearch 负责匹配,但文本必须先到达它这里,例如来自邮件网关的日志,或来自 GenAI 工具前置代理的日志。数据防泄漏(DLP)产品覆盖渠道、终端代理以及强制执行,而指纹技术为这一工作流补充来自你自己文档的段落级证据。
  • 抄袭与近似重复检测。 如果你想检查提交的作品(例如文档)是否未加引用地包含其他作品,可以轻松检测被引用的作品,例如教科书或此前提交的作品。
  • 法律与调查集合。 假设你掌握一组文档,它们揭露了犯罪或证明了你的案件。你需要知道还有谁拥有副本(或部分副本),但你手上是硬盘镜像,包含成千上万甚至数百万封不同格式的邮件和文档。指纹技术会扫描该数据量以寻找部分匹配,每个已知段落一次搜索,许多段落可以通过 multiple search API 一起运行。一次 匹配 就是一段相同词语的连续片段,不涉及模型,因此你可以向审核人员准确展示它为何触发。文本必须先被提取,对于扫描文档这意味着光学字符识别(OCR)。
  • 模板与分类。 当你寻找泄漏时,样板文本是噪声;当你想对文本分类时,它就是信号。假设一封新邮件进来,与你的钓鱼索引中频繁出现、但在正常邮件中很少出现的多个短语共享内容。指纹充当分类器。它们不能告诉你某条消息一定是钓鱼邮件,但会将其标记出来供审核,而不会像对单个短语告警那样产生误报。

监视近期消息中的已知文本

这些检查大多是用一条消息搜索许多受保护文档。你也可以反过来做:用同一分析器为消息建立索引,并定期用一份已知文本对最近的消息运行检查。这适合少量高价值文本,例如正在传播的钓鱼模板,或你想追踪的已泄漏段落。它也适用于绝不应离开公司的免责声明。

代码语言:json
复制
GET messages/_search
{
  "query": {
    "bool": {
      "must": [
        {
          "match": {
            "body": {
              "query": "<the known text>",
              "minimum_should_match": 3
            }
          }
        }
      ],
      "filter": [
        {
          "range": {
            "@timestamp": {
              "gte": "now-15m"
            }
          }
        }
      ]
    }
  },
  "highlight": {
    "fields": {
      "body": {
        "type": "unified",
        "number_of_fragments": 0
      }
    }
  }
}

在 Elastic Cloud Serverless 上的一次测试中,该查询返回了过去 15 分钟内引用了某个钓鱼模板的邮件,并高亮显示了被复制的词语,同时忽略了五小时前发送的同一模板以及一封无关邮件。Kibana Elasticsearch query rule 可以定期运行 match 部分,并对 @timestamp 应用自己的时间窗口,还能在消息匹配时告警。我们测试了查询,规则设置可作为起点进行调整。这种模式在消息发出后检测它;阻断需要强制执行点,例如先运行检查的邮件网关。

在受监管行业中防护 GenAI 提示

银行、保险公司、制药公司和律师事务所希望团队使用前沿模型,但也需要控制离开组织的内容,并向审计人员证明他们正在这样做。提示不过是另一种外发消息,因此同样的检查可以放在模型前面。

在 GenAI 提示离开公司前检查

在用户的聊天工具与模型提供商之间放置代理。对于每个请求,代理将用户文本以相同的 match 查询发送到 Elasticsearch,仅当没有受保护文档匹配时才转发请求。根据你信任的匹配规则进行阻断,例如在样板文本停用词列表之后“至少三个共享短语”,并记录较弱匹配以供审核。检查每条消息的文本,因为客户端会在每次请求中发送完整历史。如果检查本身失败,我们建议阻断请求。

演示包含一个小型代理 proxy.py——它是草图而非生产网关——在 OpenAI 风格的聊天端点后面执行此操作,并通过 Elasticsearch Inference API 将允许的提示转发给模型。

在演示数据上,以至少三个共享短语为规则:

  • 包含 20–80 词复制段落的提示中,99% 到 100% 被标记,包括轻度编辑的版本。
  • 200 封普通邮件无一被标记。
  • 未在索引中的专利文本有 12% 被标记,主要因为常见短语,这就是样板文本密集的集合需要停用词列表的原因。

它无法捕获有人(或另一个模型)事先改写的段落。这是复制检测的局限,因此要与其他控制措施配合使用。每次检查都会向 Elasticsearch 增加几个请求,因此应让阻断集群靠近代理以保持速度。

将指纹与 percolator 规则结合以检测已知词项

指纹捕获被复制的段落。许多策略关注的是已知词项,例如项目代号、客户名称或账号格式。percolator 将这些规则存储为查询,并在一次请求中用所有规则检查每条消息。在同一集群中对同一消息运行两种检查,代理就能获得一个包含各方证据的决策。

保留提示与决策的审计轨迹

监管机构(有时在数年后)会询问发送了什么、由谁发送,以及什么被阻断了。Elasticsearch 是这类记录的良好长期存储。将每个提示、响应、决策和匹配文档写入 data stream,将近期数据保存在快速存储上。通过索引生命周期管理将较旧数据迁移到更便宜的层级(在 Serverless 上,数据流生命周期负责保留),并用 ES|QL 和 Kibana 仪表板进行分析。为这两项工作使用独立集群:

  • 阻断集群 保存受保护文档并实时响应代理。它保持小型,并针对低延迟调优。
  • 审计集群 按需长期保存聊天历史。它针对保留和分析调优,访问权限受到严格限制,因为它包含你正在保护的文本本身。

代理可以自行写入审计记录,也可以通过 OpenTelemetry(OTel)发送。一些大语言模型(LLM)网关和 SDK 可以原生导出 GenAI 遥测数据,Elastic 通过 OpenTelemetry Protocol(OTLP)接收,途径包括 Elastic Cloud 上的托管 OTLP 端点,或自管理时的 Elastic Distribution of OpenTelemetry(EDOT)Collector。在 OTel 中记录提示和响应内容通常是可选项,因此请有意开启。

为什么文本指纹在 Elasticsearch 中可扩展

Elasticsearch 中的倒排索引专为快速回答一个问题而构建:哪些文档包含这个词项? 指纹技术将复制检测变成正是这个问题,以八词短语作为词项。一次检查就是一次搜索,因此可以预期它像你的其他搜索一样扩展,在自管理 Elasticsearch 或 Elastic Cloud Hosted(ECH)上通过分片和副本,在 Serverless 上通过自动扩缩容实现。

有三件事会随数据增长:

  • 索引随受保护文本增长。 每个词位置都会开始一个新短语,每个短语都连同偏移量存储,因此索引大小是原始文本的数倍。在 force merge 后,我们对 174,000 项专利的索引约为四到五倍,包括存储的源文本。小型或未合并的索引可能更大,因此请在自己的数据上测量。
  • 每个查询会为传入消息中的每个短语生成一个子句,因此长消息的检查成本高于短消息。非常长的消息可能达到单查询子句上限,该上限由 Elasticsearch 根据每个节点的堆大小和搜索线程池推导。
  • 误报概率随受保护集合增大而增加,因为文档越多,偶然共享的普通短语就越多。匹配规则可以控制这一点。

在单台笔记本节点上,当受保护集合从 1,000 项专利增长到 174,000 项时,查询时间没有明显变化,Serverless 也发现了相同的误报。

运行成本:存储、调优与索引安全

请为以下持续成本做好规划:

  • 存储为受保护文本大小的数倍。
  • 起步时一个映射和一个查询,随后是一个匹配规则和一个停用词列表需要调优,还需要有人负责两者并审阅告警。
  • 保护受保护索引本身。它包含你的敏感文本,因此要像保护源文本一样保护它。限制可读取它的人(包括其 term vectors),并将其纳入备份策略。

文本指纹与语义搜索、文件哈希的对比

指纹和语义搜索回答不同的问题。指纹 寻找相同词语,这是你作为复制证据所需要的。语义搜索 寻找关于相同概念的文本,这是大多数搜索体验所需要的。

文件哈希是第三种选择,三者在“找到什么”和“能展示什么”上有所不同:

文本指纹

语义搜索

文件哈希(MD5)

找到

相同词语连续片段

相似含义

相同文件

能承受编辑

是,部分

是

否

找到改写文本

否

是

否

需调优的阈值

共享短语数或连续片段长度

相似度分数

无

展示证据

高亮显示的复制词语

分数

仅文件匹配

主题重叠导致的误报

低

高

无

这一差异在误报方面最为重要。在语义搜索中,每个文档在某种程度上都与查询相似,因此检查总会返回一些结果,难点在于选择相似度阈值。设低阈值,每封与专利主题相同的邮件都会变成告警;设高阈值,短复制段落会漏过,因为三句话的引用几乎不会改变长邮件的含义。指纹技术给你一个可以推理和解释的阈值,例如共享短语数量或复制词语连续片段,审核人员可以看到高亮显示。

当文本被改写或摘要,或被翻译时,语义搜索是正确工具,因为这些文本共享含义而几乎没有相同短语。两种技术互补,混合搜索可以结合它们;例如,用指纹提供复制证据,用语义搜索为改写内容提供线索。

文本指纹无法检测什么

指纹能发现被复制和轻度编辑的文本。它无法发现被大幅改写或摘要的文本,也无法发现被翻译的文本。短于短语长度的文本根本不会生成短语,因此永远无法匹配。

了解检查机制的人可以绕过它。以下每种场景都会减少或消除共享短语:

  • 每隔几个词替换一个词。
  • 将段落拆分到多条消息中。
  • 用其他字母表中的形近字符替换字母。
  • 将文本作为图像或未提取的附件发送。

指纹是应对常见复制粘贴场景的良好检查,因此如果担心蓄意规避,请与其他控制措施结合使用。

消息长度也有实际限制,包括:

  • Analyze API 词元限制。 默认每个请求一万个词元,这就是演示检查最多约 9,000 词消息的原因。
  • 查询子句限制。 每次检查会为消息中的每个短语生成一个子句,因此非常长的消息可能超过 Elasticsearch 根据节点堆大小和搜索线程池推导的限制。
  • 堆大小。 在 1 GB 堆上,约 4,000 词的消息失败,而 2,000 词可以工作,8 GB 堆可以处理它们。

我们的测试使用单节点上的一个分片和一个 Serverless 项目,最多 174,000 个文档,并用专利对邮件进行检测。请将扩展性结果视为该方法可行的信号,而非容量规划指南。

试用演示

本文附带的演示是一个带 Web 界面的小型 Python 应用。它将 2,000 项专利描述和八个虚构钓鱼模板加载到使用前述映射的索引中。你可以粘贴任意文本,查看它复制自哪些受保护文档,并在两侧高亮显示被复制的词语。

文本指纹演示:一封邮件与专利 00004 之间共享 43 个指纹和一段 50 词的复制片段
文本指纹演示:一封邮件与专利 00004 之间共享 43 个指纹和一段 50 词的复制片段

图 4:演示在两侧显示被复制的词语和共享短语数量,以及最长的复制片段。

运行它是感受这些控制项的最快方式。试试示例邮件,逐词编辑一段复制内容,观察匹配如何减弱。切换匹配规则,并使用 Common phrases 标签页查找样板文本并将其应用为停用词列表。你也可以加载自己的文本文件文件夹,并用邮件对它们进行检查。

代码位于 elasticsearch-labs 仓库,其 README 包含完整设置步骤。

运行演示所需条件

  • Elasticsearch 9.x,自管理或部署在 Elastic Cloud 上。我们在 Elastic Cloud Serverless 以及 Elasticsearch 9.5 和 9.6 上进行了测试。Elastic Cloud 试用版即可满足要求。
  • Python 3.10 或更高版本。
  • 一个能够创建和管理演示索引的 API key。
  • 示例数据来自 BigPatent(Sharma、Li 和 Wang,ACL 2019,CC BY 4.0 许可),由加载器下载。

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

目录
  • 使用 shingle 分析器为受保护文档建立索引
  • 用一次 match 查询检查消息
  • 使用 unified highlighter 显示被复制的词语
  • 使用停## 使用停用词忽略样板短语
  • 调优文本指纹:短语长度与匹配规则
    • 短语长度:5、8 或 12 个词
    • 匹配规则:多少个共享短语算作复制
  • 用例:数据泄漏、抄袭、法律取证与钓鱼
  • 监视近期消息中的已知文本
  • 在受监管行业中防护 GenAI 提示
    • 在 GenAI 提示离开公司前检查
    • 将指纹与 percolator 规则结合以检测已知词项
    • 保留提示与决策的审计轨迹
  • 为什么文本指纹在 Elasticsearch 中可扩展
  • 运行成本:存储、调优与索引安全
  • 文本指纹与语义搜索、文件哈希的对比
  • 文本指纹无法检测什么
  • 试用演示
    • 运行演示所需条件
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档