首页
学习
活动
专区
圈层
工具
发布
社区首页 >专栏 >以图搜图技术栈

以图搜图技术栈

作者头像
mixlab
发布2018-04-17 16:04:04
发布2018-04-17 16:04:04
2.8K0
举报

先看个案例:

这是什么动画

https://whatanime.ga/

一个用于通过动画截图找出处的搜索引擎。可以找到跟动画截图相似的动画片截图,并找到动画的详细介绍,动漫爱好者找动画出处的好帮手!

作者在遇到 LIRE 的12个小时后就开发出了第一个原型。在设置好 Web 服务器和 Solr 之后,只需要编写几个脚本来将所有代码放在一起。为了分析视频,作者使用 ffmpeg 将每个帧作为 jpg 文件提取,每帧的时间作为文件名。然后利用 Lire ParallelSolrIndexer 分析所有这些图像并生成一个 XML 文件。在将此 XML 加载到 Solr 。最后,作者写了几行简单的 Javascript 来使用 Solr REST API 用于搜索图像。

Lirejava 语言基于 lucene 的框架,支持使用 Solr ,而 Solr 是一个高性能,采用 Java5 开发,基于 Lucene 的全文搜索服务器。Solr 有相关的 NodeJS 库,对于 NodeJS 开发者也是非常友好的。

创建以图搜图引擎的步骤相当简单,基于 opencv 的一些传统图像算法,提取颜色和纹理特征,例如图像的颜色、轮廓、直方图等信息,作为相似性搜索的索引。Lire 还内置了中文分词&模糊搜索功能,比起传统的基于关键词搜索,搜索效果更佳。

除了 Lire ,还有苹果公司的机器学习框架 TuriCreate python 语言,我尝试了下:DIY一个以图搜图引擎1本次训练数据共 3300 张图片,66x66 就可以达到不错的效果,训练时间在 mac 台式机上十几分钟即可。

除了关注技术本身,“ 以图搜图 ” 有这些应用:

电商搜同款;

图片搜索;

安防监控

药物检索;

盗版检测;

纺织面料;

视频摘要;

艺术创作 ;

对了,LireTuriCreate ,直接在 Github 搜索即可找到开源代码。

本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。
原始发表:2018-03-06,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 科技Mix设计Lab 微信公众号,前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体同步曝光计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档