专栏首页Reinvent Data Science数据搜索的新战场,我们为什么需要向量数据库?

数据搜索的新战场,我们为什么需要向量数据库?

提到搜索引擎,大家首先想到的一般是ElasticSearch。在文本作为信息主要载体的阶段,ElasticSearch技术栈是文本搜索的最佳实践。然而目前搜索领域的数据基础发生了深刻的变化,远远超过文本的范畴。视频、语音、图像、文本、社交关系、时空数据等非结构化数据构筑了更加“立体”的语义基础。

传统的文本搜索技术与实践方法很难套用到新兴的数据搜索场景上。主要的原因是,在非结构化数据中含有大量隐式的语义信息,而这些信息没办法通过语言文字进行准确的描述。例如,商品识别、人脸匹配、药物筛选、用户偏好与内容推荐等。对于这样的搜索场景,目前的主流做法是通过神经网络对数据中的语义进行提取。但这些提取出来的信息并不以文字的方式进行描述,而是表示为具有隐式语义的高维向量。

向量数据库以这些具有隐式语义的向量作为数据基础,向上层应用提供搜索服务。在AI作为搜索主要驱动力的新阶段,向量数据库是构成非结构化数据搜索技术栈的重要基础软件。

以下,我们从基本模型的角度出发,具体聊一聊为什么文本搜索技术难以适用到更加广泛的数据搜索场景,并对向量搜索的基本模型进行介绍。

向量空间中的文本搜索

对于非结构化数据的语义,常见的做法是在高维空间内对其进行描述。整个空间定义了所有可能的语义范围。在这个空间内,语义相似度通过距离来度量。每个在实际业务中出现的非结构化数据被映射到这个空间内的一个点(或称为一个高维向量),两个非结构化数据的相似度即是这两个点间的距离。不论是面向文本的TF-IDF向量,还是基于神经网络构造的embeddings,其语义相关性分析都是遵循这个思路。

为了方便理解,我们先从大家熟悉的文本搜索聊起。

考虑以下三段文本:

A:”......第一次偷袭,是在淮海战场之上,张大彪建议先打就近的敌暂七师......“

B:”......这两个年轻人,不讲武德,来骗!来偷袭!打我69岁的老同志。这好吗?这不好......“

C:”......华尔街不讲武德,WSB散户被拔网线......“

从精简的模型上看,ElasticSearch(或Lucene)中的每一份文本都可以用一个高维向量来表示。向量的维度是词典中所包含的词的总数,每个维度对应一个词,而各维度上的值为这些词的TF-IDF分数(一个考虑了词频与逆文本频率的分数,如果一个词在文本中未出现,该分数为0)。

那么上面三个文本对应的向量大概长这个样子:

如果一个查询请求是:

Q:"偷袭" and "不讲武德"

这个查询请求也会被映射到同样的向量空间中。其对应的向量为:

“距离”的度量方式为:

这个值越大,x与Q越相似。本例中,与查询语句最相似的文本为B。Lucene在工程实现层面对上述模型做了大量优化。如我们所熟知的倒排索引作用于上式的条件(2),这类似一个剪枝的过程:如果一个必要的关键字没有出现,那么该文本与查询语句的相似度为0。既然一定不会出现在最终的搜索结果中,那就没有必要进行后续的距离计算。

上图总结了这个简化的模型,向量空间以各词语 (term) 作为坐标基。关键字搜索分为两个阶段。首先是原始数据到向量空间的映射过程。文本按词语统计词频 (TF)、逆文档频率 (IDF),并计算各词语上的TF-IDF值。查询语句则按谓词中出现的词语 (如"偷袭"、"不讲武德") 映射至向量空间。其次是相似性分析,基于倒排索引加速向量空间内的搜索过程和距离计算过程,找出与查询语句向量相似的数据向量。

模型的基础部分面向文本搜索进行了特化设计,包括:

  • 向量空间:维度与词语一一对应;
  • 数据到向量空间的映射:基于TF-IDF、谓词;
  • 相似性搜索:以倒排索引进行数据组织。

从”显式“与“可解释性”,到“隐式”与”准确性“

可以明显看出,文本搜索以“显式”的语义为基础,模型层面和工程层面大体上都基于“词”这个概念进行构建。这对于文本搜索是自然的,整个搜索过程对于“人”也是好理解的。但相同的模型很难适用于更广泛的非结构化数据搜索。其中面临的问题主要有两个:

  • 一方面,在众多非结构化数据中,很大一部分都不具有“显式”的语义单元。例如,很难将一段视频、一张照片、一个高分子化合物、一段用户行为分解为类似“词”这种显式的、细小的语义单元。
  • 另一方面,在实际的搜索业务中往往希望引入多个维度的非结构化信息,从而能够更加立体地描述业务对象。以视频推荐为例,其搜索的输入是用户特征,而搜索的结果是最符合用户当前浏览偏好的一组视频。搜索结果的好坏很大程度上依赖于对“用户观看偏好”的理解。但用户偏好是一个复杂的概念,难以用单一维度的信息进行准确描述。实际业务中,参考的特征来源丰富:包括视频分类、标签、时长、语言、用户浏览历史、搜索历史、用户地理位置、年龄、性别、语言等。

由多个维度的非结构化数据所驱动的数据搜索已经变得越来越普遍。在用户的业务中,我们观察到越来越多的搜索场景都需要解决好上述两个问题,除了上面提到的视频推荐,还包括药物筛选、人脸识别、辅助设计、商品推荐等。

为了在这些搜索场景上获得更好的效果,新兴的搜索技术在可解释性与准确性之间给出了新的权衡。以神经网络、embedding为代表的新技术更多考虑了后者。

这些技术在主体思路上与文本搜索一致,都是将查询的输入与搜索内容映射至具有相同语义的向量空间,并在这个空间内根据距离进行相似度分析。而差异在于,向量空间所对应的是隐式语义,向量空间着重于对语义相似性的准确刻画,但不再具有易解读的性质。

对应视频推荐的例子,典型的做法是将不同维度的特征进行汇总,并基于这些信息训练神经网络,分别以神经网络的中间层参数、中间层输出作为视频embedding、用户embedding。基于数据训练得到的神经网络对应着用户、视频两类对象到向量空间的映射函数,这个映射函数的训练目标是最小化语义相似性的误差,但不论是映射函数还是向量空间,都不具有良好的可解释性。

泛化的非结构化数据搜索

一个具有泛化能力的非结构化数据搜索系统应该具备两个特征:

  • 能够应对非结构化数据的多样性;
  • 能够充分发挥神经网络等新型模型对语义的刻画能力。

我们给出的泛化模型如上图所示。与前面讲到的文本搜索模型相比,这个模型在结构上的明显区别是将“数据到向量空间的映射函数”从搜索引擎内移到了搜索引擎外。即图中“Mapping to vector space”的这部分(一般对应机器学习领域的encoder)。

这个选型的背后原因主要来自于工程层面。首先需要考虑的问题是数据类型爆炸。与传统的数值类型不同,当前的非结构化数据大多与业务场景直接相关,且数据类型的抽象程度非常低。这就造成了一个问题,即非结构化数据的种类是随着各个领域的数字化程度加深而与日俱增的。如果将映射函数内置于搜索引擎,就意味着搜索引擎在设计上需要考虑各类非结构化数据的具体语义。这一点所引发的系统复杂性增长,几乎是致命的。我们在项目早期尝试过将一些典型场景下的典型数据类型引入搜索引擎,但依然发现这在工程层面非常困难,很难通过一套简洁的框架来处理这些语义迥异但抽象程度又较低的数据类型。

其次需要考虑的问题是数据到向量空间的映射多样性。由于现在的搜索场景越来越复杂,所引入的数据处理方法与模型也越来越丰富。所需要的函数能力远超搜索引擎内置函数或自定义函数插件的能力范围。目前常见的做法是依靠大数据处理与AI两个生态上的工具来完成原始数据到向量空间的映射,如Spark、Pytorch、Tensorflow、Keras等。因此,将映射函数移至搜索引擎外,实际上决定了搜索引擎与大数据系统生态、AI系统生态的对接关系。

值得注意的是,虽然映射的部分有丰富的系统生态做支撑,但在应对具体的搜索问题时,仍然需要做很多定向的开发。这一点,并没有像搜索引擎的内置函数或UDF那样便利。以我们目前的经验来看,垂直领域内的典型场景是可以抽象出很多公共的处理流程的。我们也高兴的发现,当前一些开源项目已经着手补全这些拼图,如JINA等。

在剥离出“数据到向量空间的映射函数”后,搜索引擎的数据类型变得非常简洁,在传统的抽象类型之上,我们只需增加一类抽象类型 --- 向量。在搜索引擎内部,主要考虑向量空间上的操作,包括向量的存储、距离的计算、搜索过程的优化。由于映射过程完全透明,搜索引擎不依赖“映射语义”(如文本搜索中某个词会被映射至某个维度)对搜索过程进行优化。所采用的思路是直接基于“相似性语义”构建索引系统。以向量间的两两“距离”作为度量,搜索引擎将向量按聚类或图组织成索引。相应的搜索过程对应着聚类的部分遍历或图的部分遍历。

总结下来,泛化的模型的主要特点如下:

  • 向量空间:维度与隐式的语义相对应,
  • 数据到向量空间的映射:基于神经网络或垂直领域的定制模型、与搜索引擎充分解耦,
  • 相关性搜索:以聚类或图进行数据组织。

小结

我们从向量空间的角度出发,分析了文本搜索模型,并结合当前的搜索场景,讨论了搜索能力泛化所需解决的问题,最后给出了泛化的非结构化数据搜索模型。

本文分享自微信公众号 - ZILLIZ(Zilliztech)

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2021-06-24

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • Elasticsearch架构选型指南——不止是搜索引擎,还有......

    最近被咨询到“ETC 卡口数据的存储以及车流量分析、车路线分析业务场景是否适合 Elasticsearch 去做”的问题。

    铭毅天下
  • 有赞订单搜索AKF架构演进之路

    时节如流,两年前的今天写了有赞订单管理的三生三世与十面埋伏,转眼两年过去了,这套架构发展的如何,遇到了什么新的挑战和收获,今天主要来一起整理回顾下有赞订单搜索A...

    用户1278550
  • 数据中台是真火还是炒作?

    马云老师在2019年说了一段话,“很多人会把数据比作石油,我们现在搭建的数据中台,就是希望扮演发电厂的角色”,这一段话,现在被大众认为是“数据中台”这个概念的起...

    凯哥
  • Couchbase是目前最好的NoSQL数据库平台

    【IT168 评论】2017年对于NoSQL来说是很有趣的一年,大数据市场充满着机遇同时也充满着变数。所以年末岁初,我们邀请了Couchbase的首席架构师Pe...

    企鹅号小编
  • 拥抱云原生,Milvus v2.0 发布现场回顾 | 附Meetup讲师PPT和视频

    继今年 3 月发布 Milvus 1.0 版本,时隔 3 个月,Milvus 2.0 应云而生。

    Zilliz RDS
  • 移动搜索大战前夜

    在UC高调发布神马搜索的同一天,搜狗这一家未上市公司公布了它的财报。在昨天搜狗特意组织了媒体沟通会,王小川与媒体做了更深入的沟通,整个节奏让我感受到一场...

    罗超频道
  • 缄默期过后6小时,搜狗王小川回应一切(他说:会叫的狗不咬人)

    李根 发自 乌镇米仓 量子位 报道 | 公众号 QbitAI ? 北京时间12月4日下午13点,纽约时间12月4日午夜0点。搜狗上市缄默期正式结束,王小川可以...

    量子位
  • 你想要拥有自己的搜索引擎吗?

    在现代开发的应用系统中,无论是常规的web应用,还是近几年兴起的app应用,或者是风头正热的大数据应用,都离不开搜索这一功能,搜索也是在应用系统中使用频率最高的...

    yuanyi928
  • 移动搜索增变数,神马搜索如何玩儿?

    6月3日,360移动搜索App推出,移动搜索再增变数。而最早的移动搜索搅局者神马也已满月。一个月前,UC神马曾野心勃勃,想要凭借阿里这个强大后盾改写移动搜索市...

    罗超频道
  • 如何用Python在豆瓣中获取自己喜欢的TOP N电影信息

    一、什么是 Python Python (蟒蛇)是一门简单易学、 优雅健壮、 功能强大、 面向对象的解释型脚本语言.具有 20+ 年发展历史, 成熟稳定. 具有...

    企鹅号小编
  • 数据分析:挖掘竞争对手和行业的广告投放方法和竞争策略

    可能很多人随口都能说上几种,这也确实是数据的魅力和能力,这里不讲大家耳熟能详的,这次就讲讲数据在SEM营销推广中分析和认知竞争对手的内容:竞争对手都是怎么投放广...

    沉默的白面书生
  • 【大讲堂专属福利】DAMS峰会:数据治理、中台、AIOps、混沌工程、DataOps、机器学习,以及大型银行的金融科技实践

    近年来,因数据衍生、关联、发展起来的技术层出不穷,我们不断探索数据从资源转化为资产的方法,又面临在数据共享和互通中引发的安全隐患;我们迫切希望进行企业核心数据...

    腾讯大讲堂
  • 那个会做产品的百度回来了

    有没有发现,百度这段时间移动端的大动作忽然多了起来?先是宣布投资有赞和凯叔讲故事,接着与快手一起投资知乎,再接着,8月13日,百度官方宣布:百度App日活破2亿...

    罗超频道
  • 李彦宏新年内部放狠话:反思虚假信息和过度广告,不行换人

    镁客网
  • 为什么百度最可能拿下豆瓣

    阿里与盛大、拉手和窝窝甚至360、腾讯与京东……中国互联网并购投资市场暗流涌动。以19亿美金拿下91刷新中国互联网界并购记录的百度,在2013年却低调起来。不...

    罗超频道
  • Chat with Milvus #11 回顾- 分布式数据库与Milvus分布式

    本期的 Milvus 线上问答由我们 15 年经验的数据库专家-顾老师,带你总结主流数据库的发展与未来方向。

    Zilliz RDS
  • 全文搜索引擎选 ElasticSearch 还是 Solr?

    最近项目组安排了一个任务,项目中用到了基于 Solr 的全文搜索,但是该 Solr 搜索云项目不稳定,经常查询不出来数据,需要手动全量同步。

    芋道源码
  • AI 研习社职播间:知识图谱赋能企业数字化转型

    AI 科技评论按:现在的市场环境下,企业正面临着竞争逐渐加剧、人力成本增加、人员流动率加快等挑战。而随着企业经历了信息化的成熟阶段,沉淀了大量的数据,大型的企业...

    AI科技评论
  • 李彦宏真的不够浪漫吗?

    钛媒体2013年8月24日首发。 百度世界大会面向用户和开发者,是创新大会,李彦宏没发布酷产品,反而发布一套偏技术的开放机制,是不是有些出人意料? 或许这与百度...

    罗超频道

扫码关注云+社区

领取腾讯云代金券