首页
学习
活动
专区
圈层
工具
发布
精选内容/技术社群/优惠产品,尽在小程序
立即前往

图片文字视频跨模态检索综述

然而这些搜索技术大多是针对单一模态内 检索,如基于关键字的检索和基于内容的检索,它 们只执行相同媒体类型的相似性搜索,如文本检索、 图像检索、音频检索和视频检索。...例如,用户正在游览长城, 希望通过拍照检索相关的文本、音频等材料作为指 南。通常,跨模态检索的目的是以一种模态的数据作为查询来检索相关的其它模态数据。...近些年来,跨模态检索引起了研究者广泛的研究 兴趣。一般来说,与传统的单模态检索方法相比, 跨模态检索需要构建跨模态关系模型,以便用户可 以通过提交他们所拥有的模态来检索他们期望的模 态。...Peng 等人 (2017)在 2017 年发表了跨模态检索的综述论文, 但当时没有对 2017 年之后的跨模态检索方法进行 总结。...针对跨模态检索面临的各种挑战性问题,研究者提 供了各种思路和技术。本文着重总结了这些与以往 相关研究有很大不同的深度跨模态检索的最新研究 成果。

3.2K40
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    颠覆传统检索:RAPTOR检索树提升检索准确率20%!

    然而,现有的检索增强方只能检索几个简短的、连续的文本块,这对于需要整合文本多个部分的知识的问题是不够的,限制了它们表示和利用大规模语义结构的能力。...这篇文章提出了一种新颖的方法——检索树,即考虑了广泛的主题理解,也考虑了细粒度的细节信息。...在推理时,使用RAPTOR模型从这棵树中进行检索,在不同抽象层次上整合信息,以跨越较长文档进行理解。...采用递归聚类和汇总技术,RAPTOR创建了一个分层树结构,能够跨检索语料库的各个部分综合信息。在查询阶段,RAPTOR 利用此树结构进行更有效的检索。...实验表明,使用递归总结的检索方法在多个任务上相较于传统的检索增强语言模型提供了显著的改进。在涉及复杂、多步骤推理的问题解答任务中,展示了最优的结果。

    12210
    领券