以图搜图技术栈

先看个案例:

这是什么动画

https://whatanime.ga/

一个用于通过动画截图找出处的搜索引擎。可以找到跟动画截图相似的动画片截图,并找到动画的详细介绍,动漫爱好者找动画出处的好帮手!

作者在遇到 LIRE 的12个小时后就开发出了第一个原型。在设置好 Web 服务器和 Solr 之后,只需要编写几个脚本来将所有代码放在一起。为了分析视频,作者使用 ffmpeg 将每个帧作为 jpg 文件提取,每帧的时间作为文件名。然后利用 Lire ParallelSolrIndexer 分析所有这些图像并生成一个 XML 文件。在将此 XML 加载到 Solr 。最后,作者写了几行简单的 Javascript 来使用 Solr REST API 用于搜索图像。

Lirejava 语言基于 lucene 的框架,支持使用 Solr ,而 Solr 是一个高性能,采用 Java5 开发,基于 Lucene 的全文搜索服务器。Solr 有相关的 NodeJS 库,对于 NodeJS 开发者也是非常友好的。

创建以图搜图引擎的步骤相当简单,基于 opencv 的一些传统图像算法,提取颜色和纹理特征,例如图像的颜色、轮廓、直方图等信息,作为相似性搜索的索引。Lire 还内置了中文分词&模糊搜索功能,比起传统的基于关键词搜索,搜索效果更佳。

除了 Lire ,还有苹果公司的机器学习框架 TuriCreate python 语言,我尝试了下:DIY一个以图搜图引擎1本次训练数据共 3300 张图片,66x66 就可以达到不错的效果,训练时间在 mac 台式机上十几分钟即可。

除了关注技术本身,“ 以图搜图 ” 有这些应用:

电商搜同款;

图片搜索;

安防监控;

药物检索;

盗版检测;

纺织面料;

视频摘要;

艺术创作 ;

对了,LireTuriCreate ,直接在 Github 搜索即可找到开源代码。

原文发布于微信公众号 - 科技Mix设计Lab(Design-AI-Lab)

原文发表时间:2018-03-06

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏编程微刊

使用bootstrap的栅栏实现五列布局

我们知道,在使用Bootstrap栅格的时候,我们可以对网页方便的进行模块分割。Bootstrap 包含了一个响应式的、移动设备优先的、不固定的网格系统,可以随...

1881
来自专栏Golang语言社区

有限状态机FSM的原理与GO的实现

有限状态机(Finite-state machine, 简写FSM)又可以称作有限状态自动机。它必须是可以附着在某种事物上的,且该事物的状态是有限的,通过某些触...

5897
来自专栏mantou大数据

【元数据管理】Atlas术语(Glossary)

Atlas的术语表(Glossary)提供了一些适当的“单词”,这些“单词”能彼此进行关连和分类,以便业务用户在使用的时候,即使在不同的上下文中也能很好的理解它...

1142
来自专栏AI科技评论

开发 | 百度开源移动端深度学习框架MDL,可在苹果安卓系统自由切换

AI科技评论消息,日前,百度在 GitHub 上开源了移动端深度学习框架 mobile-deep-learning(MDL)的全部代码以及脚本,这项研究旨在让卷...

28311
来自专栏WeTest质量开放平台团队的专栏

UPA深度性能报告解读

UPA作为腾讯WeTest与Unity官方联合打造的客户端性能分析工具,为开发者提供了极大的便利和效能提升。产出的分析报告内容详尽,但您是否真的读懂了报告?是否...

762
来自专栏AI研习社

Facebook 发布 wav2letter 工具包,用于端到端自动语音识别

AI 研习社消息,日前, Facebook 人工智能研究院发布 wav2letter 工具包,它是一个简单高效的端到端自动语音识别(ASR)系统,实现了 Wav...

4135
来自专栏大数据文摘

手把手|在Python中用Bokeh实现交互式数据可视化

2.2K5
来自专栏帮你学MatLab

R2015b 版本

R2015b 版本 MATLAB 产品系列更新: MATLAB: 新增更快运行 MATLAB® 代码的执行引擎;用于创建、分析图形和网络并实现可视化的图形...

2917
来自专栏编程微刊

Highcharts使用的一些总结

Highcharts 是一个用纯 JavaScript 编写的一个图表库, 能够很简单便捷的在 Web 网站或是 Web 应用程序添加有交互性的图表,并且免费提...

781
来自专栏腾讯NEXT学位

简单三步做出微信h5表情包

2074

扫码关注云+社区

领取腾讯云代金券