Jina AI 联合Datawhale，发起学习项目！

Datawhale

发布于 2022-10-31 19:51:46

3750

发布于 2022-10-31 19:51:46

文章被收录于专栏：Datawhale专栏Datawhale专栏

Datawhale学习

贡献方： Jina AI 、Datawhale，方向：视频搜索

视频创作者通常需要从大量的素材中找到自己需要的片段来剪辑，可真是心累。作为 Up 主的王德福抓住这一需求和他的小伙伴 Arthur，使用 Jina 搭建起一个跨模态视频搜索引擎，轻松实现输入描述文本，即可得到对应视频片段。

视频地址：https://www.bilibili.com/video/BV1n3411u7tJ

开发背景

作为一个前端程序员兼 Up 主，平时拍摄与搜集的素材库实在太多，在视频制作时，想快速找出想要的视频片段太费劲了，那么有什么办法能节省翻找素材的时间呢？

通过给每段视频素材打上标签？太繁琐，并且太耗时。
通过检索字幕去查找出对应的画面？但只能是人物说了那句话才行，没有说话的画面就无法检索，得到的结果太局限了。

而我想要这个工具能够实现：输入对画面的描述，就能得到视频素材的片段。那么，如何利用 AI 来实现我的需求呢？既要理解自然语言，又要理解视频内容，听起来不像是简单的任务......

技术选型

我了解到 OpenAI 开源的 CLIP 模型，它能够完成图像与文本的匹配任务。也就是说，我们可以通过利用 CLIP 模型实现用描述性的文本，而非关键词搜索到图像，而视频又可以看作是一帧帧的图像。

因此，借助强大的 CLIP 模型，我可以实现一个基于语义的，而非基于关键词的搜索引擎。不同于传统的 ES 全文搜索，我不需要给每个视频素材人为地打上标签，也不需要利用 OCR、正则去做匹配。只需通过 AI 模型，优雅地提取图像和文本的特征向量，通过计算两者的向量相似度，就能返回到我想要的结果，听起来相当完美。

初选方案

一开始，我尝试用纯 Python + CLIP 模型实现了初版方案。

但当时遇到了一些棘手的问题，即向量无法存储。由于没有合适的数据存储方式，做数据库也需要一定开发量，因此我每次都需要重新计算一遍向量，繁琐、耗时又费力。

并且由于项目无法独立部署，导致无法通过前端页面来承载视频片段搜索的能力。而这些都有太多开发成本，对于一个我这样的前端开发者来说，将大部分精力都花费在不熟悉的工作上，太得不偿失了。

最终方案

因此我尝试在开源社区寻找合适的解决方案，发现了 Jina，作为一个专注于神经网络搜索的 AI 框架，正好提供了我原方案里所需的能力。于是，我转变了思路，使用 Jina + CLIP 实现从文本到视频片段的搜索系统。

如果用纯 Python 的方式表示一个视频，需要自己建立一个哈希表，包括 embedding 、图片的存储，结构会很难看。

但 Jina 里的 DocArray 能把这个存储变得非常结构化，不管有多少帧视频，都可以在一个 Document 里做封装。而且可以有不同的层级结构，比方说第一层用于存储整体的视频，第二层用于存储视频下不同的帧......切换不同的模态时，也可以设置成顶层是一整段话，第二层是一个句子，第三层是一个单词。不仅可以通过每个单词进行搜索，也可以通过每句话进行搜索，这样搜索颗粒度选择就更多，搜索结果也会更加丰富。