图像检索(一):因缘际会与前瞻

之前因为学习Keras的缘故,看到一个图像检索的Demo,代码实现了输入一张查询照片,检索出最相似的n张照片的效果。

图像检索示例

进而用t-SNE将所有照片降至2维,以便可视化并观察相似照片是否聚集到了一起。下图是我“复现”了Demo后,一千张图像可视化的结果:可以看到右上角是人脸肖像簇;左边是摩托车簇;左下角是飞机簇等等,效果还不错。

1kimages-example-tSNE-animals1k.png

最初看到这个demo,我非常兴奋,兴奋的原因大概有两点。其一是好几年前有这样一篇文章——《你说你看过2000部电影,我笑笑说我也是》——令我至今难忘。文中介绍了法国博主Christophe Courtois对诸多相似风格的电影海报进行了整理。

举几个例子:背靠背的两个人

Christophe Courtois-1.jpg

下方的海滩与上方浮现的人物:

Christophe Courtois-2.jpg

分开的双腿:

Christophe Courtois-3.jpg

渗人的眼睛:

Christophe Courtois-4.jpg

可以看出确实有很多相似的套路,如此说来设计海报也不是件多难的事嘛?!(设计师看了想打人)。不同类型的电影题材会有各自倾向的海报风格,这也并不是多眼前一亮的结论。但上述所引终归是多年前的文章以及他人的归纳结果,对于阅片篇并不多的我来说,更好奇的是,能否通过爬取电影海报(或其他主题,比如音乐专辑照片等)并结合文章开头的技术来挖掘出类似的结论,或者找到更多不曾被人归纳的风格。

为此我专门爬取了豆瓣电影“Top250”“分类排行榜”的数据(后者通过md5值删除重复海报后从3853张降到2281张)分别进行了研究,这部分从爬虫代码、爬取的数据、海报检索以及可视化的内容均为在后续文章中涉及。

豆瓣电影-分类排行榜.JPG

其二是2017年11月公众号上看到小火的清华美院的向帆老师在一席演讲的视频与文稿《如果把每年的春晚都像蚊香一样卷起来的话,它就是这样的》,各种酷炫的可视化作品令人叹为观止,非常推荐大家看一下此视频。相关作品也可到此网站查看。

2001-2014年春晚“蚊香图”.jpg

春晚色彩盘.jpg

国内外大学院系组织结构.png

全国美展历年获奖作品研究.JPG

当时看完久久不能平静,想着离2018年春晚还早,要是能了解下这些作品都是怎么做出来的,然后趁着过年时“不进则已,一鸣惊人”下,也是美滋滋哈。但搜寻后却发现可能用到的软件等似乎蛮难上手,现今也记不得许多,唯有那会第一次知道“t-SNE”可以用来可视化高维数据这件事,觉得挺神奇的就存了些图。

t-SNE.PNG

但也并不清楚背后的数学原理以及具体如何操作照片数据集。以下是以动画的方式直观感受下使用t-SNE后MNIST手写数字类别不断分开的过程

t-SNE-MNIST.gif

所谓:“念念不忘,必有回响”。一切因缘际会,万没想到却在学Keras时都撞上了。那么,这Keras又是什么东西呢?

keras.jpg

简单的说,Keras 就是一个深度学习的python 库,可以以Tensorflow、Theano 以及CNTK 为后端。它简单易用,能像搭积木一般构建神经网络,对于新手小白而言,是最易上手深度学习的库,没有之一。

keras-workflow.jpg

怎么个简单易用,本文暂且不表,后续系列再来讲解。你可能又会好奇,标题不是说好了介绍图像检索的嘛,怎么又扯到深度学习上了,到底是如何实现检索出相似图像,如何用t-SNE对海量图像进行可视化的呢?这其中的缘故,且听我慢慢道来。

深度学习、卷积神经网络有多火,想必大家都是知道的。但对于不曾了解过其原理的人而言,或许会觉得是很艰深晦涩、很高大上的事。如果一上来看到下面这样的图,心情一定不会美妙,一脸懵逼,这tm是个啥。

神经网络.png

本文当然不会过多涉及这部分讲解,感兴趣的小伙伴可以阅读下这两个不错的知乎话题,看完你就比90%的人清楚CNN到底是怎么回事了: 能否对卷积神经网络工作原理做一个直观的解释? CNN(卷积神经网络)是什么?有入门简介或文章吗?

那么原本用于图像识别,比如识别一张图像里到底是猫还是狗的卷积神经网络,又是结合到图像检索上的呢?以下图为例,CNN可以看成是特征提取和分类器两部分,通过一层层的神经网络对图像逐渐提取出抽象的特征,有了特征就有了可以区分和评判的指标,分类器就能识别出是猫还是狗了。

CNN.jpg

而如果把分类器去掉,用剩下的特征提取器对海量图像分别提取特征,并借助余弦相似度等衡量指标,我们就能实现上述的图像检索效果了。

类似流程图大致如下,相关阅读:《基于deep learning的快速图像检索系统》

寒小阳.jpeg

经过上述的介绍,你就对图像检索有了一定的了解,如果非常技痒,可以直接看Demo的代码:Image Search。当然后续我也会基于此继续更新本系列文章,涉及原始代码一些小BUG的修改与复现、豆瓣电影海报的爬取与研究、以及Keras的更多介绍、基于内容的图像检索(CBIR)的更多细节,以及可能的改进方向等等。敬请期待。

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏AI研习社

Kaggle 图像识别新赛来袭,还有一家中国企业提供赞助

AI 研习社此前介绍过 CVPR 2018 workshop 上的多个比赛,详情参见看过 CVPR 2018 workshop 后,发现有一个我不认识的 Lad...

38460
来自专栏SIGAI学习与实践平台

理解计算:从根号2到AlphaGo番外篇 眼见未必为实--漫谈图像隐写术

有很多技术都致力于保护信息安全,其中有两类技术最为著名,一个是密码学,另一类就是密写术,也称为隐写术。应邀借此机会向大家谈谈隐写术这个很多人都不太熟悉的领域。本...

15840
来自专栏数说工作室

训练集是题库,测试集就是高考!| 不能更简单通俗的机器学习名词解释

1. train? valid? or test? 机器学习最明显的一个特点是需要大量的数据。特别对监督学习来说,就是需要大量的带标签数据(labeled da...

48980
来自专栏一名叫大蕉的程序员

机器学习虾扯淡之特征工程(一)No.38

0x00瞎扯淡 当当当,我又来啦。 哇咔咔,很多人都说我好久好久没写机器学习的东西啦。是不是忘啦? 没有没有,记着呢。 只是最近在看很多其他的东西,比如敲敲sc...

25880
来自专栏量化投资与机器学习

【HMM研究实例】运用HMM模型的择时策略

下面拿A股市场来做检验。 模型的设定如下: 隐藏状态数目:6 输入变量:当日对数收益率,五日对数收益率,当日对数高低价差(其他备选因素成交量、成交额等大家可以自...

42970
来自专栏机器学习人工学weekly

机器学习人工学weekly-2018/8/5

视频列表链接:https://www.youtube.com/playlist?list=PLBgogxgQVM9v0xG0QTFQ5PTbNrj8uGSS-

9510
来自专栏腾讯云数据处理团队的专栏

万象优图:图片成本优化的瑞士军刀

引言不知道每天上下班的你坐在地铁公交上会刷哪些app呢?也许正为周末和朋友去哪里聚会而挑选餐厅;也许刷着朋友圈看看朋友们有哪些新动态;也许在Ins上浏览着大V博...

46310
来自专栏思影科技

基于局部脑血流量和工作记忆表现预测2年内血压变化

贝叶斯推荐你关注思影科技 来自美国匹兹堡大学精神病与心理学部的J.Richard Jennings等人在Hypertension杂志上发文指出,基于ASL成像的...

34260
来自专栏机器学习AI算法工程

【趣味】数据挖掘(5)—分房与分类

中老年回顾歌曲集中有这样一首歌:月亮在白莲花般的云朵里穿行,晚风吹来一阵阵欢乐的歌声,我们坐在高高的谷堆旁边,听妈妈讲那过去的事情……   歌词美,旋律也美...

31830
来自专栏AI科技大本营的专栏

AI 技术讲座精选:条件概率和贝叶斯定理简介

前 言 数据科学专家必须了解概率方面的知识。通常情况下,解决许多数据科学难题的办法与概率的本质息息相关。因此,更好地理解概率能够帮助你更有效率地理解并实现与之相...

36450

扫码关注云+社区

领取腾讯云代金券