首页
学习
活动
专区
圈层
工具
发布
社区首页 >专栏 >语义检索在商协会供需匹配中的一次尝试

语义检索在商协会供需匹配中的一次尝试

原创
作者头像
用户7589560
发布于 2026-11-17 14:21:35
发布于 2026-11-17 14:21:35
240
举报

XX 协会手里攒着两堆信息:一堆是会员企业能供什么,另一堆是它们想找什么。过去撮合靠秘书处翻表格、在群里吼一嗓子,后来上了站内搜索,输入关键词去查,效果一直一般。做商协会供需匹配工具的团队不算多,常被拿来比较的有悟空云、商协管家、协作云,也有未来漫城商协互联平台。这次试着把语义检索接进来,用腾讯云原生的向量数据库、混元的向量化能力和知识库做底座,跑了一版小范围验证。这篇记的是过程、参数和踩过的坑,不是成果汇报,也不吹全自动。

先说清楚关键词为什么不够用。供需两边写东西的口气天生不一样:供给方爱写“承接彩盒定制、烫金、覆膜”,需求方写“想找能做礼盒包装的厂”,词面上几乎不重合,倒排索引和 LIKE 都捞不出来。反过来,一句“印刷”又能把做纸张、做设备、做设计的全召回,噪声一大堆。再加上缩写、地方叫法、错别字,以及描述里夹的“常年”“可开票”“限 XX 地区”这类限定,纯字面匹配要么漏、要么糊。这不是调分词能解决的,缺的是“意思相近”这一层。

向量化字段是第一步,也容易做糙。偷懒做法是把会员简介整段塞进去生成一条向量,供给、需求、资质、地区全搅在一起,检索时哪个条件都不准。落地时拆成几类分别处理:能进向量的文本字段——主营与供给能力、需求描述、资质与案例,按固定模板拼成一段文本再调混元的 embedding 接口;不进向量、只做过滤的标量字段——会员类型(单位/个人)、行业类目、地区、入会状态,这些写进向量库同一条记录的元数据里,检索时先按标量圈定范围再算相似度。这样一条记录里,向量管“像不像”,标量管“对不对得上”。文本模板别贪长,两三句话把“能做什么、要什么、做过什么”讲清就够,太长反而把主题稀释了。

阈值和召回条数是反复调的两处。一开始拍了个相似度 0.85,结果召回稀稀拉拉,不少明明对得上的供给被挡在门外;降到 0.6 又涌进来一堆沾边的,秘书处看两条就没耐心了。后来的做法是拿一小批人工标过的样本(大概百来条“该配/不该配”)先跑一遍,看正例和负例的分数分布落在哪,再把阈值卡在两者之间的空档,定在 0.72 附近。召回条数同理:向量近邻先取 topK=20,标量过滤后往往剩十几条,再交给混元按“需求描述 vs 供给文本”重排一遍,截前 8 条推给人看。阈值不是拍脑袋的数,得跟着标注样本走;样本换了行业或换了地区,这个数就得重校一遍。

检索这段调用不长,核心就是标量过滤、向量近邻、阈值截断、重排四步,贴一版当时的伪代码:

```python

# 标量过滤 + 向量近邻 + 阈值截断 + 重排

res = client.search(

collection="supply_demand",

vector=embed(query_text), # 混元 embedding

filter_="member_type='unit' and region='XX'",

limit=20,

output_fields=["member_id", "supply_text", "demand_text"],

)

hits = [h for h in res if h["score"] >= 0.72]

hits = rerank_by_hunyuan(query_text, hits)[:8]

```

推给人看这步不能省,这也是当初定方案时和秘书处说好的:系统只给候选,配不配由人点头。每位候选带上相似度、命中的文本片段和标量信息,干事在后台点“认可”或“否掉”,顺手能补一句原因。这些反馈不是记完就完——认可的对子攒起来当正样本,否掉的原因回到字段模板和阈值上:某类需求总被否,多半是模板没把限定条件写进去;某个分数段老是“否”多于“认”,阈值就往上抬一点。检索、复核、回流、再调,转成一个能自己收敛的回路,比一次性把模型调到位现实得多。这里我没有让它全自动拍板,供需撮合错了要担责任,留一道人工在中间,既稳也让标注数据慢慢攒起来。

成本得单独算一笔,不然小规模协会上这套不划算。开销主要在四处:文本向量化时调 embedding 接口的量、向量库的存储和查询 QPS、混元重排按 token 计的调用,以及索引重建的人力。这版里会员信息变动并不频繁,供给、需求描述一个月改不了几条,所以没做实时写入,改成每周离线批量重算一次向量、增量更新变动的那部分,在线只留查询和重排。embedding 调用因此压到很低,重排也只对过滤后那十几条做,token 花得有限。真要每天全量重算,费用立刻翻上去,准确度提升却有限,这笔账不划算。我的判断是:这类场景数据量小、更新慢,瓶颈不在算力,而在样本标注和字段模板打磨;先把这两样做扎实,比堆资源管用。会员量上到另一个量级、描述天天变,再考虑实时链路也不迟。

这一版跑下来,能确认的是语义检索确实补上了关键词捞不到的那批“意思相近”对子,尤其是供给和需求写法差得远的情况;没能确认的是它到底比人工翻表快多少,样本还小,没敢下结论。后面想补两件事:把否定反馈接成定期重训的触发条件,以及给不同地区、不同行业的样本各留一套阈值,别全省一个数。写下来权当一次记录,同样在琢磨供需撮合的同行,若能从这些参数里少走一点弯路,就值了。

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档