专栏首页AI算法与图像处理是时候展示一波花里胡哨了——以图搜图

是时候展示一波花里胡哨了——以图搜图

导读

前段时间分享一个小视频,今天来详细讲解一波如何实现以图搜图,这篇写了好几天,自身能力有限可能没办法写的非常完美,也没有办法把所有点都讲的非常的仔细,但是我都会附上详细的链接,大家有什么不懂的都可以去查一哈,我觉得这个项目还是挺有趣的,最后我还附上了一个视频操作,第一次录视频意外多多,不足之处请大家见谅,如果尝试过后觉得不错的可以帮忙点一波“在看”或者分享朋友圈和群,小编会万分感谢的!!!

全文共 3600 字,16幅图表截屏

预计阅读时间 9分钟。

一、什么是以图搜图

广义上,图像搜索的分类可以分为两种,

(1)基于上下文本的图片搜索

例如:百度,在搜索框中输入“搜索文字”,点击“图片搜索”,即可获得图片搜索结果;

(2)基于图片内容的搜索

基于图片中特征进行搜索

详细内容可以查看:

《当SIFT邂逅CNN:图像检索任务跨越十年的探索历程》https://www.jianshu.com/p/80159860d4e0

图像搜索在现在应用的非常普遍,是一个非常有趣和实用的工具。相对于关键字搜索,以图搜图的方式更加的方便,特别对于特征难以用文字描述的,这个时候图像搜索就能展示出它的强大了。

当然还有很多应用场景: 例如,

你需要的图片有水印,想要找到无水印的版本。 你需要的图片分辨率太低,想要找到高清的图片。 你需要的图片只是一部分,想要找到完整的版本。 逛论坛时发现了一个美女,你想要知道她的资料。 图片是某个电影里的截图,你想要知道它的出处。 你想知道你的原创图片是否被他人转载或者盗用。 你看到一个帅哥或美女穿着十分亮眼,想要买同款。 有一个长得很漂亮的美女主动加你微信,说头像是本人。 朋友送了你一个不知道什么的国外品牌,你好奇到底是什么。 。。。

二、常见的以图搜图的网站

百度识图:https://www.baidu.com/

拍立淘:http://www.pailitao.com/

360图片:http://image.so.com/

更多的可以查考:https://www.runningcheese.com/cbir

例如百度的以图搜图步骤如下:

(1)打开百度(www.baidu.com)

(2)基于文本的图片搜索:

(3)基于图片内容的图片搜索:

1、点击“相机”图标

2、拖拽图片

3、自动显示结果

三、基于内容的图像搜索原理

这里以淘宝的产品拍立淘为例,

拍立淘的原理:

参考:https://www.sohu.com/a/164506831_468650

实际上,拍立淘图像搜索的过程分为两步,

第一步:识别物品种类

第二部:相似度匹配

-------------------------------------------

(1)识别物品种类(目标检测):当你拿起手机拍照的时候,手机淘宝会对图片中的所有物品进行识别,然后提示让你选择你所需要的找的相似物品类别是什么,这个过程实际上就是一个目标检测(如下图所示);

对于上面的图中,含有衣服以及书包,此时软件会让你根据需求进行选择相应的类别,在对应类别的库中搜索相似的商品并输出结果;

(2)相似度匹配:第一步的目的找到对应的类别,而找到了对应的类别还不能满足我们的需求,比如找到了书包,但实际上书包的款式多种多样,还是无法满足我们的需求,对于上图中,如果我们用语言去描述这个书包,很难准确的描述并找到目标商品,这时就体现了以图搜图的价值了,通过对目标商品进行特征提取并在图片库中进行对比,找到最相似的结果并输出。

由于淘宝的应用场景复杂,种类繁多,而这里我们只想演示一下而已,所以做了一个简单的展示,截取重点的部分进行代码演示:

原理:

具体步骤:

(1)图片获取——通过关键字,爬取百度上面的图片

(2)对获取的图片提取特征,建立特征索引库

(3)对测试图片进行特征提取,并在索引库中比较,按相似度排序并输出

四、代码实现

所采用的工具python3.6,keras2.2.4

1)图片获取——通过关键字,爬取百度上面的图片

这里不详细说明爬取百度图片的原理和细节,因为我毕竟不是非常懂,重点讲解一下如何使用,具体的原理和代码可以查看下面的链接https://blog.csdn.net/qq_40774175/article/details/81273198

详细操作:

1、新建一个名字为name.txt的文档,并输入需要的关键字(支持多个关键自)

备注:我在name.txt中输入 dasima(换行) wuwukai

这里关键词不要用中文的,不然会对后面的操作会报错

2、运行代码pachong.py,输入每个对应关键字所需要下载的图片数量

此时程序会从网上爬取到图片并保存到对应的文件夹中(以关键词命名的文件夹),获取完毕后新建一个文件夹img,当做图片库的存储,并将爬取的图片都放进去;

-----------------------获取图片完毕-----------------------

(2)对获取的图片提取特征,建立特征索引库

这里参考《python计算机视觉》的作者之一,袁勇github上面的代码

https://github.com/willard-yuan/flask-keras-cnn-image-retrieval

主要的代码为三个,其中index.py用于提取图片的特征和建立索引,query_online.py用于库内搜索

其基本原理是利用VGG16的预训练模型提取图片库的特征(extract_cnn_vgg16_keras.py),同时会将最终输出的特征向量进行归一化,并建立一个索引库

使用方法:

# 建立索引库# python3 index.py -database <path-to-dataset> -index <name-for-output-index>index.py -database <path-to-dataset> -index <name-for-output-index># 对database文件夹内图片进行特征提取,建立索引文件featureCNN.h5python3 index.py -database database -index featureCNN.h5

(3)对测试图片进行特征提取,并在索引库中比较,按相似度排序并输出

这里采用的相似度实际上是利用测试图片的特征向量(VGG16提取)归一化后与索引库相乘,就是由于特征向量都进行了归一化,当测试图片的特征向量如果与索引库中的某一列的乘积等于1,即说明他们是完全相同的。

其他情况,结果由向量积计算结果可知其相似度的值。

# 在线测试# python query_online.py -query <path-to-query-image> -index <path-to-index-flie> -result <path-to-images-for-retrieval># 使用database文件夹内001_accordion_image_0001.jpg作为测试图片,在database内以featureCNN.h5进行近似图片查找,并显示最近似的3张图片python3 query_online.py -query database/001_accordion_image_0001.jpg -index featureCNN.h5 -result database

注意:这里有个地方可能会报错,当然作者也给出了解决方案

这里,我斗胆进行了一点点的修改,

(1)增加了一个异常处理操作,主要是为了方便,即使手误输错也能继续运行,这个在之前的文章中有讲解过;

学会这招再也不怕手误让代码崩掉

(2)作者最终显示的结果只能一张一张的展示,没有对比图,因此我稍微修改了一下,让可视化的效果更加的美观一些,有兴趣的可以参考我的代码;

(3)我对参数输入也进行了修改,将模型名字和图片库的路径都固定了,这样子测试的时候比较方便,大家在使用的时候请注意下,如果修改了名字要对应起来。

#操作汇总# (1)打开终端执行index.py代码python3 index.py -database img -index lol.h5# 此时已经将图片库转成索引库并保存和输出lol.h5模型# (2)继续运行代码 query_online.pypython3 query_online.py# 按照提示,如果要退出输入 exit 查询直接enter# 输入测试图片 名字即可(如果测试图片额代码不在同一路径下需要增加路径——这里 设置EI相对路径)

代码:https://github.com/DWCTOD/flask-keras-cnn-image-retrieval-master

可以的话,也可以点一下下star,感谢

本文分享自微信公众号 - AI算法与图像处理(AI_study),作者:神秘的铁头娃

原文出处及转载信息见文内详细说明,如有侵权,请联系 yunjia_community@tencent.com 删除。

原始发表时间:2019-05-09

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

我来说两句

0 条评论
登录 后参与评论

相关文章

  • 怒薅羊毛:白嫖GitHub作为个人博客免费图床

    很多小伙伴私信反馈说,个人博客搭建完以后,写文章时,图片上传和存放成了一个问题。我看很多人都把图片放在仓库一起,然后试图通过相对路径的方式来引用图片,结果很多人...

    AI算法与图像处理
  • 天秀! 了解一下GAN都可以做到这些事情

    原文链接:https://machinelearningmastery.com/impressive-applications-of-generative-ad...

    AI算法与图像处理
  • 和 Nature 封面论文一作,聊了聊天机芯的科研故事

    邓磊,清华首位类脑计算博士、美国加州大学圣芭芭拉分校博士后。8 月 1 日《 Nature 》杂志的封面上,展示了文章《面向人工通用智能的异构天机芯片架构》,他...

    AI算法与图像处理
  • Android中一张图片占据的内存大小是如何计算提问正文推荐阅读

    最近封装了个高斯模糊组件,正好将图片相关的理论基础也梳理了下,所以,这次就来讲讲,在 Android 中,怎么计算一张图片在内存中占据的大小,如果要优化,可以从...

    请叫我大苏
  • 编写模块化CSS:命名空间

    用户1687375
  • 00--图解数据结构之开篇+集合基类

    张风捷特烈
  • TiPrometheus:基于 TiDB 的 TSDB | TiDB Hackathon 2018 优秀项目分享

    既然你关注了 TiDB, 想必你一定是个关注 Infrastructure 的硬汉(妹)子。监控作为 Infra 不可或缺的一环,其核心便是 TSDB(time...

    PingCAP
  • 猿思考系列9——一文获取隐藏逻辑挖掘办法

    看完上一个章节,相信你已经充分的掌握了数据库事务的一些事情,猿人工厂君也知道,内容对于新手而言,理解起来还是比较很吃力的,文中提到的原理和内容,有兴趣的可以和我...

    山旮旯的胖子
  • Nginx安装、默认虚拟主机、用户认证、nginx中PHP解析

    对于LNMP来说,最常见的就是502问题,LNMP环境搭建完成后,一访问网站直接提示“502 Bad Gateway”。主要原因大致分为两种:

    阿dai学长
  • 【Angular JS】网站使用社会化评论插件,以及过程中碰到的坑

      目前正在开发自己的网站,技术上使用Angular JS + Express JS + Mongo DB。由于网站会有文章发布,因此需要有评论功能。评论功能也...

    宋凯伦

扫码关注云+社区

领取腾讯云代金券