OpenCV玩九宫格数独(一):九宫格图片中提取数字

前言

首先要明确我们的任务。要想解数独,需要进行计算,图片格式的数字肯定是不行的,所以必须把图片上的数字转换为实实在在的数字才能进行计算。要得到实实在在的数字,我们需要做的是对图片上的数字进行提取和识别。本文先说第一步,图片中数字的提取。

在一年之前,我曾用 C++ 尝试过 opencv 解数独,但由于当时水平有限,未能完成。当时的成果就是透视变换的应用和方格数字的提取。现在稍微简化一下工作,不再从倾斜的数独图片中提取数独,而是直接用正拍且已经提取好的数独开始处理。这里用到的数独图片如下图所示:

方法

1.以前的方法

从上图这样的九宫格图片中提取数字,我以前用的方法是,先利用轮廓提取,通过轮廓的面积进行筛选,得到所有的81个小方格;然后对检测小方格中是否有黑色像素以及像素的多少(排除噪音)来判定哪个小方格中有数字;最后对有数字的小方格再次进行轮廓提取得到数字的轮廓和轮廓外包矩形。

此方法实现起来相对来说比较麻烦,思路仅供参考。

2.本次所用方法

在仔细研究了 opencv 轮廓提取函数findContours()之后,发现利用轮廓的层级结构会更加简单。作为本节最主要的函数,有必要稍微多说几句。

cv2.findContours(image, mode, method[, contours[, hierarchy[, offset] ] ]) → contours, hierarchy

在Python中,findContours()接受如下参数并返回contours和hierarchy。

1.image 源图像,一般为8为单通道图像,更具体来说,二值图像。其他情况暂且不论。

2.mode 轮廓检索模式,简要介绍几种:

  • cv2.RETR_EXTERNAL 只检测外轮廓。对所有轮廓设置hierarchy[i][2]=hierarchy[i][3]=-1
  • cv2.RETR_LIST 提取所有轮廓,并放置在list中,检测到的轮廓不建立等级关系。
  • cv2.RETR_TREE 提取所有轮廓,建立网状的轮廓结构。

3.method 轮廓的近似办法,是提取轮廓上所有像素点,还是只提取关键的一些点。比如一条线段是提取所有点还是只提取两个端点。

4.contours 检测到的轮廓,为组成轮廓的点集。

5.hierarchy 下面详述。

hierarchy

什么是层级结构呢?我们检测轮廓的时候,有时候可能会出现其中一个轮廓包含了另外一个轮廓,比如同心圆。这里我们认为外侧轮廓为父轮廓,内侧被包含的为子轮廓。同一级别的又有前一个轮廓后一个轮廓。总的来说,hierarchy表达的是不同轮廓之间的 关系和联系。

这样,每一个轮廓都会有[Next, Previous, First_Child, Parent]

上面说到,cv2.RETR_EXTERNAL 只检测外轮廓。对所有轮廓设置hierarchy[i][2]=hierarchy[i][3]=-1。由于只检测最外围轮廓,所有检测到的轮廓肯定没有父轮廓和子轮廓,所有层级结构的第三个和第四个元素都设置为-1。

看下图:

如果只检测最外围轮廓,那么只会检测到轮廓012

如果建立层级关系,以轮廓3为例,那么它的父轮廓是2a,子轮廓是3a,没有前一轮廓和后一轮廓,设为-1。所以它的hierarchy应该是[-1,-1,3a,2a]

如果是轮廓2,那么它的前一轮廓就是1,子轮廓是2a,没有后一轮廓和父轮廓。所以它的hierarchy应该是[-1,1,2a,-1]

有兴趣的可以仔细看看,没兴趣的可以略过。兴趣更浓的可以去看opencv文档,那里的讲解更加详细。

这里就说这么多,对于我们本节的内容来说,已经够了。

上面说了啥

我觉得大部分人这个时候还会问,上面说了这么一堆到底是要干什么???因为这里确实不是那么清晰明了。

别忘了我们本节的目的是要提取数字,什么样的轮廓包含数字?

一般来说经过前面的阈值分割得到二值图像,然后从二值图像中提取的轮廓是这样的。这是处理的比较好的情况下:

显然最最外面的那个包围所有的就是0号轮廓,里面的九九八十一个小方格就是0号轮廓的子轮廓。而每一个已知数字的轮廓都是对应方格的子轮廓。

提取数字

所有我们的办法就是先提取方格,然后提取数字。

八十一个小方格有什么特点?父轮廓都是0号轮廓!所以:

boxes = []
for i in range(len(hierarchy[0])):
    if hierarchy[0][i][3] == 0:
        boxes.append(hierarchy[0][i])

不记得的可以上翻看一下hierarchy是不是第四个元素表示父轮廓。

然后从小方格中提取数字轮廓。数字轮廓的有什么特点?其父轮廓有子轮廓,也即是说包含子轮廓的小方格里面就有数字。所以:

for j in range(len(boxes)):
    if boxes[j][2] != -1:
        x,y,w,h = cv2.boundingRect(contours[boxes[j][2]])
        number_boxes.append([x,y,w,h])

不记得的可以上翻看一下hierarchy是不是第三个元素表示子轮廓。不等于-1表示存在。

最后把检测到的数字画出来就可以得到下面的这幅图了。

###代码

# -*- coding: UTF-8 -*-
import cv2

img = cv2.imread('001.jpg')
gray = cv2.cvtColor(img,cv2.COLOR_BGR2GRAY)
## 阈值分割
ret,thresh = cv2.threshold(gray,200,255,1)

## 对二值图像执行膨胀操作
kernel = cv2.getStructuringElement(cv2.MORPH_CROSS,(5, 5))     
dilated = cv2.dilate(thresh,kernel)

## 轮廓提取,cv2.RETR_TREE表示建立层级结构
image, contours, hierarchy = cv2.findContours(dilated,cv2.RETR_TREE,cv2.CHAIN_APPROX_SIMPLE)

## 提取小方格,其父轮廓都为0号轮廓
boxes = []
for i in range(len(hierarchy[0])):
    if hierarchy[0][i][3] == 0:
        boxes.append(hierarchy[0][i])

## 提取数字,其父轮廓都存在子轮廓        
number_boxes = []
for j in range(len(boxes)):
    if boxes[j][2] != -1:
        #number_boxes.append(boxes[j])
        x,y,w,h = cv2.boundingRect(contours[boxes[j][2]])
        number_boxes.append([x,y,w,h])
        img = cv2.rectangle(img,(x-1,y-1),(x+w+1,y+h+1),(0,0,255),2)

cv2.namedWindow("img", cv2.WINDOW_NORMAL); 
cv2.imshow("img", img)
cv2.waitKey(0)

下一步

数字已经提取出来,下一步就该是数字的识别了......

原创声明,本文系作者授权云+社区发表,未经许可,不得转载。

如有侵权,请联系 yunjia_community@tencent.com 删除。

编辑于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏天天P图攻城狮

iOS多边形马赛克的实现(上)

马赛克(英语:Mosaic)是镶嵌艺术的音译,原本是指一种装饰艺术,通常使用许多小石块或有色玻璃碎片拼成图案,在教堂中的玻璃艺品,又称为花窗玻璃(stained...

634110
来自专栏社区的朋友们

Kaggle实战:House Prices: Advanced Regression Techniques(下篇)

机器学习主要分为分类和回归两类。上一篇文章我们通过实例介绍了利用决策树和随机森林来做分类。 这次我们来预测房价,实际演练一下R语言中的回归分析模型。

3K20
来自专栏前端下午茶

CSS 中重要的层叠概念

最近在项目的过程中遇到了一个问题,menu-bar希望始终显示在最上面,而在之后的元素都显示在它之下,当时设置了 z-index 也没有效果,不知道什么原因,因...

11220
来自专栏Spring相关

Css权重解析

关于CSS权重,我们需要一套计算公式来去计算,这个就是 CSS Specificity,我们称为CSS 特性或称非凡性,它是一个衡量CSS值优先级的一个标准 具...

15020
来自专栏AI研习社

详解 Kaggle 房价预测竞赛优胜方案:用 Python 进行全面数据探索

AI 研习社按:Kaggle 的房价预测竞赛从 2016 年 8 月开始,到 2017 年 2 月结束。这段时间内,超过 2000 多人参与比赛,选手采用高级回...

71070
来自专栏jianhuicode

关于贝塞尔曲线的故事

概述 在开始本故事的之前,先来介绍下故事的背景。话说几百年前,从天而降一座神山,远远看去像一天光滑的丝带,它的名字叫做:“贝塞尔曲线"。有大法师预言登上这座神山...

24680
来自专栏yl 成长笔记

three.js 相机

图形学中的相机定义了三维空间到二维屏幕的投影方式,根据投影方式的不同,相机可分为 正交投影相机 与 透视投影相机。

14620
来自专栏前端知识分享

第98天:CSS3中transform变换详解

Transform字面上就是变形,改变的意思。在CSS3中transform主要包括以下几种:旋转rotate、扭曲skew、缩放scale和移动transla...

8730
来自专栏工科狗和生物喵

【机器视觉与图像处理】基于MATLAB+Hough的圆检测

本次文章,没有太多好写的,就是最近做的一个机器视觉的课程设计作业,是要做一个流水线的生产线建模以及对于产品的检测识别,我个人承包了圆心半径检测的内容,熬了好几天...

32510
来自专栏章鱼的慢慢技术路

OpenGL透明与混色效果

22760

扫码关注云+社区

领取腾讯云代金券