前往小程序,Get更优阅读体验!
立即前往
首页
学习
活动
专区
工具
TVP
发布
社区首页 >专栏 >python开发:基于SSD下的图像内容识别(一)1.首先,先看一下我们能达到什么样的效果:2.我们需要做哪些基本的步骤:

python开发:基于SSD下的图像内容识别(一)1.首先,先看一下我们能达到什么样的效果:2.我们需要做哪些基本的步骤:

作者头像
sladesal
发布2018-08-27 11:12:52
6190
发布2018-08-27 11:12:52
举报
文章被收录于专栏:机器学习之旅机器学习之旅

鸽了将近有一个月的时间没有更新东西,真的不是因为我懒,主要在忙一些工作上的事情,然后就是被安装caffe环境折磨的死去活来。我本来用的上mba来搭caffe环境的,一直在报一个框架问题,索性一怒之下换了mbp,下面就将我在SSD学习过程中遇到的问题和大家一起分享一下。

1.首先,先看一下我们能达到什么样的效果:

比如,这样的:

再比如这样的:

甚至还可以这样: https://v.qq.com/x/page/a0567wd27jz.html https://v.qq.com/x/page/j05679xhryx.html 这边吐槽一下,简书makedown不支持上传视频,简直差评!

那问题来了,在真实的业务场景中,我们有哪些应用呢? 比如天猫的拍照购:

有货的相似推荐:

这些都是非常优秀的应用场景。

2.我们需要做哪些基本的步骤:

2.1抠出图片中关键的人或者物

如果只需要抠出图片中的核心信息的话,其实只需要加载python里面的selectivesearch包就可以(这里多说一句,建议都是使用conda安装所有包和库,不然你会后悔的)。 我们先来看下效果:

这个是怎么实现的呢?

代码语言:javascript
复制
import  cv2
import selectivesearch
import matplotlib.pyplot as  plt
import matplotlib.patches as  mpatches
import  numpy as  np
img = cv2.imread('/Users/slade/Documents/Yoho/picture_recognize/heshen.jpg')

#图片识别分割
img_lbl, regions =selectivesearch.selective_search(
    img, scale=500, sigma=0.9, min_size=20)

#这边的regions里面就有一个个划分出来的box
regions[0]
#Out[3]: {'labels': [0.0], 'rect': (0, 0, 619, 620), 'size': 177325},其中‘rect’定位了box的位置,‘size’确定了box的大小

# 接下来我们把窗口和图像打印出来,对它有个直观认识
fig, ax = plt.subplots(ncols=1, nrows=1, figsize=(6, 6))
ax.imshow(img)

for reg in regions:
    x, y, w, h = reg['rect']
    rect = mpatches.Rectangle(
        (x, y), w, h, fill=False, edgecolor='red', linewidth=1)
    ax.add_patch(rect)
plt.show()

搜索完成后展示图:

很明显,这里面的方框太多了,所以我们需要把一些过小的,过大的,不规则的全部去掉:

代码语言:javascript
复制
candidates = []
for r in regions:
    # 重复的不要
    if r['rect'] in candidates:
        continue
    # 太小和太大的不要
    if r['size'] < 200 or r['size']>20000:
        continue

    x, y, w, h = r['rect']
    # 太不方的不要
    if w / h > 1.8 or h / w > 1.8:
        continue
    candidates.append((x,y,w,h))

#剔除大box内的小box
candidates_sec = []
for  i  in  candidates:
    if len(candidates_sec)==0:
        candidates_sec.append(i)
    else:
        Flag=False
        replace=-1
        index=0
        for j  in candidates_sec:
            ##新box在小圈 则删除
            if i[0]>=j[0] and i[0]+i[2]<=j[0]+j[2]  and i[1]>=j[1] and i[1]+i[3]<=j[1]+j[3]: 
                Flag=True
                break
            ##新box不在小圈 而在老box外部 替换老box
            elif i[0]<=j[0] and i[0]+i[2]>=j[0]+j[2] and i[1]<=j[1] and i[1]+i[3]>=j[1]+j[3]: 
                replace=index
                break
            index+=1

        if not Flag:
            if replace>=0:
                candidates_sec[replace]=i
            else:
                candidates_sec.append(i)

然后我们看看更新完后的图片效果:

代码语言:javascript
复制
fig, ax = plt.subplots(ncols=1, nrows=1, figsize=(6, 6))
ax.imshow(img)
for x, y, w, h in candidates_sec:
    rect = mpatches.Rectangle(
        (x, y), w, h, fill=False, edgecolor='red', linewidth=1)
    ax.add_patch(rect)
plt.show()

在根据重复优化一下,就可以得到最初的那张图片,基本上来说,就可以完成抠图这个事情了。

2.2相关理论概述:

上面这样的识别从数学角度上是怎么样实现的呢? 这边先引入一篇文章:2014年CVPR上的经典paper:《Rich feature hierarchies for Accurate Object Detection and Segmentation》,这篇文章的算法思想又被称之为:R-CNN(Regions with Convolutional Neural Network Features),是物体检测领域曾经获得state-of-art精度的经典文献。 论文较为复杂冗长,我这边主要先看一下我们关系的抠图模块:

2.2.1 抠若干个box过程:

先切分图片到若干子区域的集合S 1.在计算集合S中找出相似性最大的区域max_similarity{ri,rj} 2.合并S_new=ri∪rj 3.从S集合中,移走所有与ri,rj的子集 4.将新集合S_new与相邻区域的相似度 5.repeat step2 直到S集合为空 这边相似度的计算考虑了三个方面:颜色相似,纹理相似,空间交错相似,分别解释如下: 颜色相似:

其中对每个区域,我们都可以得到一个一维的颜色分布直方图:

假设两个直方图波峰和波谷高度重合,那么计算下来的值比较大;反之如果波峰和波谷错开的,那么累加的值一定比较小。

纹理相似: 这边会用到SIFI算法,也是一个比较经典的算法。 selectivesearch论文采用方差为1的高斯分布在8个方向做梯度统计,然后将统计结果(尺寸与区域大小一致)以bins=10计算直方图。(这个我也没有仔细去看,只是skip learn了一下)

空间相似: 这个最简单,代码呈现了:

代码语言:javascript
复制
def sim_fill(r1, r2, imsize):
    """
        calculate the fill_similarity over the image
    """
    bbsize = (
        (max(r1["max_x"], r2["max_x"]) - min(r1["min_x"], r2["min_x"]))
        * (max(r1["max_y"], r2["max_y"]) - min(r1["min_y"], r2["min_y"]))
    )
    return 1.0 - (bbsize - r1["size"] - r2["size"]) / imsize

2.2.2 若干个box筛选的过程:

首先,我们定义:IOU为两个bounding box的重叠度,如下图所示:

矩形框A、B的一个重合度IOU计算公式为: IOU=(A∩B)/(A∪B) 就是矩形框A、B的重叠面积占A、B并集的面积比例: IOU=SI/(SA+SB-SI)

再引入非极大值抑制(NMS)概念:抑制不是极大值的元素,搜索局部的极大值。 翻译一下就是:比如之前看的这张图片:

很明显还是很多box是相互inner的,虽然没有被相互包含进去,我们可以先选择最大的box,看其他box与这个最大的box的IOU值,删除IOU值大于预先设定的阈值的box,重复这个过程就是一个方框删除的过程。真实的NMS还会涉及到canny detection等等的细节问题,这边只是让大家快速入门使用起来,如需详细了解,请自行百度。

2.2.3 若干个box内容对应:

我们虽然识别出了方框内存在物体,但是我们仍需要将物体与标签对应起来,这边的方法就是很多了,RCNN里面的方法:SVM,还有现在非常热门的CNN都可以对识别出来的子图片进行识别分类:VOC物体检测任务是一个非常入门的分类问题。你可以通过任何一种你觉得可以的分类方法进行识别训练。

简单的流程化的识别拆分讲解这边就结束了,主要讲了candidates_boxs的产生,candidates_boxs通过基本属性的初筛,candidates_boxs根据IOU原则下的NMS进行复选,再将复选出来的box根据你已经训练好的分类模型确定到底是啥? 可以用下面这个图概述一下:

我们还有很多没讲完的,后面会持续更新: 主要包括: 1.如何配置一个快速训练的环境? 2.如何实现(输入图片,产出结果)整套识别流程? 3.如何自己训练一个图片分类器? 4.如何做快速迁移一个自己需要的及时图片识别流?

本文参与 腾讯云自媒体分享计划,分享自作者个人站点/博客。
原始发表:2017.10.30 ,如有侵权请联系 cloudcommunity@tencent.com 删除

本文分享自 作者个人站点/博客 前往查看

如有侵权,请联系 cloudcommunity@tencent.com 删除。

本文参与 腾讯云自媒体分享计划  ,欢迎热爱写作的你一起参与!

评论
登录后参与评论
0 条评论
热度
最新
推荐阅读
目录
  • 1.首先,先看一下我们能达到什么样的效果:
  • 2.我们需要做哪些基本的步骤:
    • 2.1抠出图片中关键的人或者物
      • 2.2相关理论概述:
        • 2.2.1 抠若干个box过程:
        • 2.2.2 若干个box筛选的过程:
        • 2.2.3 若干个box内容对应:
    领券
    问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档