图形商标近似检索-知擎者的 Milvus 实践

✏️ 作者介绍：

王杰，知擎者数据挖掘算法工程师

应用背景

知擎者是一个商标大数据智能应用平台，以商标数据为核心，结合企业大数据、法律大数据、营销大数据等，提供基础业务处理、商标预警监测、案件智能挖掘、数据情报分析等服务，为知产服务者提效赋能。知擎者不断协助知产服务者改变传统业务处理模式，创建智慧服务新体系，拓展更多业务机会，以达到知产服务者快速盈利和品牌建设的目标。

近年来，品牌文化大力发展，文字商标的注册随之越发饱和，申请难度越来越大。因此，越来越多国人开始转向图形商标申请。

图形商标的申请及监测在代理人（知产服务者）确权业务中占比越来越大。代理人（知识产权服务者）对图形商标查询和监测的需求越发强烈。为此，知擎者提供以图搜图功能，协助代理人快速检索近似图形商标。

知擎者已有近两千万的图形商标图片数据。根据这些数据和卷积神经网络 VGG16 模型，我们训练出图片特征提取模型，用于提取图片的特征向量。为了快速将全量图片数据转化成特征向量数据，我们将特征提取模型及代码分别布置在多台服务器上，通过请求 flask 获取任务以实现图片数据同步处理，快速获取特征向量。最后，由于 Milvus 只能单点上传数据且在数据上传时会同步建立向量索引，所以我们将特征向量归纳起来统一插入到 Milvus。

尼斯分类（International (Nice) Classification of Goods and Services），由世界知识产权组织（WIPO）提供，将商品和服务分为 45 个类别，用于区分商标适用范围[1]。为帮助用户提取不同类别的图形商标图片，我们以类别为分区标签将特征向量数据分区存储在 Milvus 中。用户只需在客户端上传图片，程序内部会自动通过同一个模型提取特征向量，从 Milvus 中查找近似向量的 id， 获取对应的近似图片。最后，程序会进一步筛选官方给定的图片内容形容词、图形商标类别以及 Milvus 返回的近似得分等，将结果返回给客户端。

图片特征向量提取：卷积神经网络 VGG 16 模型

卷积神经网络 VGG16 模型是一种图片分类模型，具有简洁易懂、快速精确等优点，能够适应各种图片尺寸。图片传入模型变化分类如下图所示：

VGG16 模型顾名思义是共有 16 个层的卷积神经网络。VGG 各种级别的结构都采用了 5 段卷积，每一段具有一个或多个卷积层。同时，每一段卷积的尾部都连接着一个最大池化层以缩小图片尺寸。每一段卷积内的卷积核数量一致，越靠后的卷积核数量越多 64-128-256-512-512[2]。VGG16 的所有卷积核都是 3*3 格式，池化层均选用 2*2 的池化核，因此能够保留更多图片信息。确定向量模型后，我们通过 Python、Tensorflow 、Keras 等 Python 模块完成了图片特征向量模型训练。

图片特征向量检索：Milvus 向量相似度搜索引擎

我们在获取特征向量后需要从海量数据中快速检索近似的特征向量。通过百度、知乎等信息渠道，我们了解到 Milvus 和 Faiss 两种工具。对比后我们发现 Milvus 比起 Faiss 整体更加便捷。安装 Milvus 时，我们只需要通过 Docker 拉取镜像，更改几个相应的参数便能快速完成安装。Milvus 官网提供包含 Python、Java、Golang、RESTful、C++ 等多个平台详细而直观的 API 供学习使用，因此十分便于上手。此外，Milvus 还支持通过多种索引检索近似向量，官网上还附有详细的索引介绍。总体而言，Milvus 操作便捷，对用户十分友好，适用于需要控制开发成本的项目。

Milvus v0.10.3 架构如下图所示 [3]：

效果展示

结合了 Milvus 的知擎者以图搜图功能已经正式上线。目前该功能运行稳定，检索效率可以满足正常使用。效果如下图所示：

我们团队仍会持续进行功能优化，解决例如图形商标颜色区分、文字商标干扰等问题。

总结

随着商标注册量逐年增长，图形商标作为企业品牌核心，其近似检索也会变得越发重要。知擎者团队将不断优化以图搜图功能。当前，文本、图像、音频等非结构化数据呈爆炸式增长。将非结构化数据通过 Embedding 技术映射成多维向量后再进行检索已成为趋势。Milvus 是一款开源的分布式向量相似度搜索引擎，具有高性能、易部署等特性。Milvus 能极大节省项目开发成本，显著提升系统检索性能，从而满足各种技术和业务需求。知擎者将会时刻关注 Milvus 的优化，在未来更丰富的业务场景中与 Milvus 再度合作。

参考资料

1. 尼斯分类：

https://web.archive.org/web/20170831234900/http://web2.wipo.int/classifications/nice/nicepub/en/fr/edition-20170101/taxonomy/class-7/?pagination=no&lang=en&mode=flat&explanatory_notes=show&basic_numbers=show

2. 卷积神经网络 Vgg16 ：

https://blog.csdn.net/qq_34823656/article/details/92410152

3. Milvus官方文档：

https://milvus.io/cn/docs/v0.10.3/overview.md

4. 知擎者官网：

https://zqz510.com/