python开发:基于SSD下的图像内容识别(一)1.首先,先看一下我们能达到什么样的效果:2.我们需要做哪些基本的步骤:

鸽了将近有一个月的时间没有更新东西,真的不是因为我懒,主要在忙一些工作上的事情,然后就是被安装caffe环境折磨的死去活来。我本来用的上mba来搭caffe环境的,一直在报一个框架问题,索性一怒之下换了mbp,下面就将我在SSD学习过程中遇到的问题和大家一起分享一下。

1.首先,先看一下我们能达到什么样的效果:

比如,这样的:

再比如这样的:

甚至还可以这样: https://v.qq.com/x/page/a0567wd27jz.html https://v.qq.com/x/page/j05679xhryx.html 这边吐槽一下,简书makedown不支持上传视频,简直差评!

那问题来了,在真实的业务场景中,我们有哪些应用呢? 比如天猫的拍照购:

有货的相似推荐:

这些都是非常优秀的应用场景。

2.我们需要做哪些基本的步骤:

2.1抠出图片中关键的人或者物

如果只需要抠出图片中的核心信息的话,其实只需要加载python里面的selectivesearch包就可以(这里多说一句,建议都是使用conda安装所有包和库,不然你会后悔的)。 我们先来看下效果:

这个是怎么实现的呢?

import  cv2
import selectivesearch
import matplotlib.pyplot as  plt
import matplotlib.patches as  mpatches
import  numpy as  np
img = cv2.imread('/Users/slade/Documents/Yoho/picture_recognize/heshen.jpg')

#图片识别分割
img_lbl, regions =selectivesearch.selective_search(
    img, scale=500, sigma=0.9, min_size=20)

#这边的regions里面就有一个个划分出来的box
regions[0]
#Out[3]: {'labels': [0.0], 'rect': (0, 0, 619, 620), 'size': 177325},其中‘rect’定位了box的位置,‘size’确定了box的大小

# 接下来我们把窗口和图像打印出来,对它有个直观认识
fig, ax = plt.subplots(ncols=1, nrows=1, figsize=(6, 6))
ax.imshow(img)

for reg in regions:
    x, y, w, h = reg['rect']
    rect = mpatches.Rectangle(
        (x, y), w, h, fill=False, edgecolor='red', linewidth=1)
    ax.add_patch(rect)
plt.show()

搜索完成后展示图:

很明显,这里面的方框太多了,所以我们需要把一些过小的,过大的,不规则的全部去掉:

candidates = []
for r in regions:
    # 重复的不要
    if r['rect'] in candidates:
        continue
    # 太小和太大的不要
    if r['size'] < 200 or r['size']>20000:
        continue

    x, y, w, h = r['rect']
    # 太不方的不要
    if w / h > 1.8 or h / w > 1.8:
        continue
    candidates.append((x,y,w,h))

#剔除大box内的小box
candidates_sec = []
for  i  in  candidates:
    if len(candidates_sec)==0:
        candidates_sec.append(i)
    else:
        Flag=False
        replace=-1
        index=0
        for j  in candidates_sec:
            ##新box在小圈 则删除
            if i[0]>=j[0] and i[0]+i[2]<=j[0]+j[2]  and i[1]>=j[1] and i[1]+i[3]<=j[1]+j[3]: 
                Flag=True
                break
            ##新box不在小圈 而在老box外部 替换老box
            elif i[0]<=j[0] and i[0]+i[2]>=j[0]+j[2] and i[1]<=j[1] and i[1]+i[3]>=j[1]+j[3]: 
                replace=index
                break
            index+=1

        if not Flag:
            if replace>=0:
                candidates_sec[replace]=i
            else:
                candidates_sec.append(i)

然后我们看看更新完后的图片效果:

fig, ax = plt.subplots(ncols=1, nrows=1, figsize=(6, 6))
ax.imshow(img)
for x, y, w, h in candidates_sec:
    rect = mpatches.Rectangle(
        (x, y), w, h, fill=False, edgecolor='red', linewidth=1)
    ax.add_patch(rect)
plt.show()

在根据重复优化一下,就可以得到最初的那张图片,基本上来说,就可以完成抠图这个事情了。

2.2相关理论概述:

上面这样的识别从数学角度上是怎么样实现的呢? 这边先引入一篇文章:2014年CVPR上的经典paper:《Rich feature hierarchies for Accurate Object Detection and Segmentation》,这篇文章的算法思想又被称之为:R-CNN(Regions with Convolutional Neural Network Features),是物体检测领域曾经获得state-of-art精度的经典文献。 论文较为复杂冗长,我这边主要先看一下我们关系的抠图模块:

2.2.1 抠若干个box过程:

先切分图片到若干子区域的集合S 1.在计算集合S中找出相似性最大的区域max_similarity{ri,rj} 2.合并S_new=ri∪rj 3.从S集合中,移走所有与ri,rj的子集 4.将新集合S_new与相邻区域的相似度 5.repeat step2 直到S集合为空 这边相似度的计算考虑了三个方面:颜色相似,纹理相似,空间交错相似,分别解释如下: 颜色相似:

其中对每个区域,我们都可以得到一个一维的颜色分布直方图:

假设两个直方图波峰和波谷高度重合,那么计算下来的值比较大;反之如果波峰和波谷错开的,那么累加的值一定比较小。

纹理相似: 这边会用到SIFI算法,也是一个比较经典的算法。 selectivesearch论文采用方差为1的高斯分布在8个方向做梯度统计,然后将统计结果(尺寸与区域大小一致)以bins=10计算直方图。(这个我也没有仔细去看,只是skip learn了一下)

空间相似: 这个最简单,代码呈现了:

def sim_fill(r1, r2, imsize):
    """
        calculate the fill_similarity over the image
    """
    bbsize = (
        (max(r1["max_x"], r2["max_x"]) - min(r1["min_x"], r2["min_x"]))
        * (max(r1["max_y"], r2["max_y"]) - min(r1["min_y"], r2["min_y"]))
    )
    return 1.0 - (bbsize - r1["size"] - r2["size"]) / imsize

2.2.2 若干个box筛选的过程:

首先,我们定义:IOU为两个bounding box的重叠度,如下图所示:

矩形框A、B的一个重合度IOU计算公式为: IOU=(A∩B)/(A∪B) 就是矩形框A、B的重叠面积占A、B并集的面积比例: IOU=SI/(SA+SB-SI)

再引入非极大值抑制(NMS)概念:抑制不是极大值的元素,搜索局部的极大值。 翻译一下就是:比如之前看的这张图片:

很明显还是很多box是相互inner的,虽然没有被相互包含进去,我们可以先选择最大的box,看其他box与这个最大的box的IOU值,删除IOU值大于预先设定的阈值的box,重复这个过程就是一个方框删除的过程。真实的NMS还会涉及到canny detection等等的细节问题,这边只是让大家快速入门使用起来,如需详细了解,请自行百度。

2.2.3 若干个box内容对应:

我们虽然识别出了方框内存在物体,但是我们仍需要将物体与标签对应起来,这边的方法就是很多了,RCNN里面的方法:SVM,还有现在非常热门的CNN都可以对识别出来的子图片进行识别分类:VOC物体检测任务是一个非常入门的分类问题。你可以通过任何一种你觉得可以的分类方法进行识别训练。

简单的流程化的识别拆分讲解这边就结束了,主要讲了candidates_boxs的产生,candidates_boxs通过基本属性的初筛,candidates_boxs根据IOU原则下的NMS进行复选,再将复选出来的box根据你已经训练好的分类模型确定到底是啥? 可以用下面这个图概述一下:

我们还有很多没讲完的,后面会持续更新: 主要包括: 1.如何配置一个快速训练的环境? 2.如何实现(输入图片,产出结果)整套识别流程? 3.如何自己训练一个图片分类器? 4.如何做快速迁移一个自己需要的及时图片识别流?

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏深度学习自然语言处理

自然语言处理之基于biLSTM的pytorch立场检测实现

前面我已经讲过了LSTM的原理,想要了解的看上一篇就行。 LSTM理解了,biLSTM其实也就很容易理解了。这个实验,我是根据黑龙家大学nlp实...

46913
来自专栏Petrichor的专栏

深度学习: LeNet 网络

该网络在字符识别上取得了高于99%的准确率,因此主要被用于字符识别的卷积神经网络。

2223
来自专栏机器学习之旅

应用:多算法识别撞库刷券等异常用户

在运营业务中,绝大多数公司会面临恶意注册,恶意刷接口,恶意刷券等流量问题,此类问题的常规解决方案都是拍定单位时间内的ip访问上限次数、qps上限次数等等,会存在...

1382
来自专栏企鹅号快讯

VAIN:Attentional Multi-agent Predictive Modeling

Hoshen Y. VAIN: Attentional Multi-agent Predictive Modeling[J]. arXiv preprint a...

3807
来自专栏专知

100+中文词向量,总有一款适合你

2424
来自专栏机器之心

在调用API之前,你需要理解的LSTM工作原理

3404
来自专栏AI科技大本营的专栏

一文教会你三维网格物体识别

本文由「图普科技」(微信公众号 tuputech)编译,原作者 Vladimir Tsyshnatiy,链接:https://medium.com/@vtsys...

1693
来自专栏Python疯子

python人工智能:完整的图片识别(非图片验证码),以及模型的使用

这个可以说是一个绝对的福利中的福利。一整套的AI图片识别以及模型的使用。 一直都在说人工智能,图像识别,又有几个人会呢,网上文章成山,前一段时间因工作需要,我一...

2562
来自专栏专知

Tensorflow实战系列:手把手教你使用LSTM进行文本分类(附完整代码)

【导读】专知小组计划近期推出Tensorflow实战系列,计划教大家手把手实战各项子任务。本教程旨在手把手教大家使用Tensorflow构建LSTM进行文本分类...

2.1K9
来自专栏AI传送门

keras教程:卷积神经网络(CNNs)终极入门指南

5015

扫码关注云+社区

领取腾讯云代金券