首页
学习
活动
专区
工具
TVP
发布
社区首页 >问答首页 >OpenCV-Python中的简单数字识别OCR

OpenCV-Python中的简单数字识别OCR
EN

Stack Overflow用户
提问于 2012-02-23 20:37:23
回答 3查看 244.4K关注 0票数 413

我正在尝试用OpenCV-Python (cv2)实现一个“数字识别光学字符识别”。它只是为了学习的目的。我想学习OpenCV中的KNearest和支持向量机的特性。

我有每个数字的100个样本(即图像)。我想和他们一起训练。

OpenCV sample附带了一个示例letter_recog.py。但我仍然不知道如何使用它。我不明白什么是样本,响应等。而且,它一开始加载了一个txt文件,这是我一开始不理解的。

稍后搜索一下,我可以在cpp示例中找到letter_recognition.data。我使用了它,并在letter_recog.py的模型中为cv2.KNeest做了一个代码(只是为了测试):

代码语言:javascript
复制
import numpy as np
import cv2

fn = 'letter-recognition.data'
a = np.loadtxt(fn, np.float32, delimiter=',', converters={ 0 : lambda ch : ord(ch)-ord('A') })
samples, responses = a[:,1:], a[:,0]

model = cv2.KNearest()
retval = model.train(samples,responses)
retval, results, neigh_resp, dists = model.find_nearest(samples, k = 10)
print results.ravel()

它给了我一个大小为20000的数组,我不知道它是什么。

问题:

1)什么是letter_recognition.data文件?如何从我自己的数据集构建该文件?

2) results.reval()表示什么?

3)如何使用letter_recognition.data文件( KNearest或支持向量机)编写一个简单的数字识别工具?

EN

回答 3

Stack Overflow用户

回答已采纳

发布于 2012-03-08 23:35:50

好了,我决定解决我的问题来解决上面的问题。我想要的是使用OpenCV中的KNearest或支持向量机功能来实现一个简单的光学字符识别。下面是我做了什么以及如何做的。(它只是为了学习如何使用KNearest实现简单的光学字符识别目的)。

1)我的第一个问题是关于OpenCV示例附带的letter_recognition.data文件。我想知道那个文件里面有什么。

它包含一个字母,以及该字母的16个特征。

this SOF帮我找到了它。这16个特性在论文中进行了解释。(尽管我不理解结尾的一些功能)

2),因为我知道,如果不了解所有这些特性,就很难做到这一点。我尝试了一些其他的论文,但对于初学者来说都有点难。

So I just decided to take all the pixel values as my features. (我并不担心准确性或性能,我只是希望它能正常工作,至少要有最低的准确性)

我为我的训练数据拍摄了下面的图片:

(我知道训练数据量较少。但是,由于所有的字母都是相同的字体和大小,我决定试一下这个)。

为了给准备训练的数据,我用OpenCV做了一个小代码。它做以下事情:

它加载image.

  • Selects的数字(显然是通过轮廓查找和应用对字母的面积和高度的约束,以避免错误的detections).

  • Draws一个字母周围的边界矩形,并等待key press manually。这一次,我们自己按下与字母对应的数字键。一旦按下相应的数字键,它就会将此框的大小调整为10x10,并将100像素值保存在一个数组(这里是)中,并将相应的手动输入的数字保存在另一个数组中(在这里,responses).

  • Then将这两个数组保存在单独的txt文件中。

在人工分类结束时,训练数据( train.png)中的所有数字都是我们自己手动标记的,图像如下:

下面是我用于上述目的的代码(当然,不是很干净):

代码语言:javascript
复制
import sys

import numpy as np
import cv2

im = cv2.imread('pitrain.png')
im3 = im.copy()

gray = cv2.cvtColor(im,cv2.COLOR_BGR2GRAY)
blur = cv2.GaussianBlur(gray,(5,5),0)
thresh = cv2.adaptiveThreshold(blur,255,1,1,11,2)

#################      Now finding Contours         ###################

contours,hierarchy = cv2.findContours(thresh,cv2.RETR_LIST,cv2.CHAIN_APPROX_SIMPLE)

samples =  np.empty((0,100))
responses = []
keys = [i for i in range(48,58)]

for cnt in contours:
    if cv2.contourArea(cnt)>50:
        [x,y,w,h] = cv2.boundingRect(cnt)

        if  h>28:
            cv2.rectangle(im,(x,y),(x+w,y+h),(0,0,255),2)
            roi = thresh[y:y+h,x:x+w]
            roismall = cv2.resize(roi,(10,10))
            cv2.imshow('norm',im)
            key = cv2.waitKey(0)

            if key == 27:  # (escape to quit)
                sys.exit()
            elif key in keys:
                responses.append(int(chr(key)))
                sample = roismall.reshape((1,100))
                samples = np.append(samples,sample,0)

responses = np.array(responses,np.float32)
responses = responses.reshape((responses.size,1))
print "training complete"

np.savetxt('generalsamples.data',samples)
np.savetxt('generalresponses.data',responses)

现在我们进入培训和测试部分。

对于测试部分,我使用了下面的图像,它具有与我用于训练的相同类型的字母。

用于训练的我们按如下方式做:

将我们已经保存的txt文件加载到我们正在使用的分类器实例中(在这里,我们使用KNearest.train

  • KNearest)

  • Then
  1. KNearest.train

出于测试目的,我们执行以下操作:

  1. 我们像之前一样加载用于testing
  2. process图像的图像,并使用轮廓方法提取每个数字,
  3. 为其绘制边界框,然后将其大小调整为10x10,并像前面一样将其像素值存储在一个数组中。
  4. ,然后我们使用KNearest.find_nearest()函数来查找与我们给定的项最接近的项。(如果幸运的话,它能识别正确的数字。)

我在下面的代码中包含了最后两个步骤(训练和测试):

代码语言:javascript
复制
import cv2
import numpy as np

#######   training part    ############### 
samples = np.loadtxt('generalsamples.data',np.float32)
responses = np.loadtxt('generalresponses.data',np.float32)
responses = responses.reshape((responses.size,1))

model = cv2.KNearest()
model.train(samples,responses)

############################# testing part  #########################

im = cv2.imread('pi.png')
out = np.zeros(im.shape,np.uint8)
gray = cv2.cvtColor(im,cv2.COLOR_BGR2GRAY)
thresh = cv2.adaptiveThreshold(gray,255,1,1,11,2)

contours,hierarchy = cv2.findContours(thresh,cv2.RETR_LIST,cv2.CHAIN_APPROX_SIMPLE)

for cnt in contours:
    if cv2.contourArea(cnt)>50:
        [x,y,w,h] = cv2.boundingRect(cnt)
        if  h>28:
            cv2.rectangle(im,(x,y),(x+w,y+h),(0,255,0),2)
            roi = thresh[y:y+h,x:x+w]
            roismall = cv2.resize(roi,(10,10))
            roismall = roismall.reshape((1,100))
            roismall = np.float32(roismall)
            retval, results, neigh_resp, dists = model.find_nearest(roismall, k = 1)
            string = str(int((results[0][0])))
            cv2.putText(out,string,(x,y+h),0,1,(0,255,0))

cv2.imshow('im',im)
cv2.imshow('out',out)
cv2.waitKey(0)

它起作用了,下面是我得到的结果:

在这里,它以100%的准确率工作。我认为这是因为所有的数字都是相同类型和相同大小的。

但不管怎样,这对初学者来说是一个很好的开始(我希望如此)。

票数 579
EN

Stack Overflow用户

发布于 2014-01-03 19:13:21

对于那些对C++代码感兴趣的人,可以参考下面的代码。感谢Abid Rahman的精彩解释。

该过程与上面相同,但是,轮廓查找仅使用第一层次轮廓,因此该算法仅使用每个手指的外轮廓。

用于创建样本和标签数据的代码

代码语言:javascript
复制
//Process image to extract contour
Mat thr,gray,con;
Mat src=imread("digit.png",1);
cvtColor(src,gray,CV_BGR2GRAY);
threshold(gray,thr,200,255,THRESH_BINARY_INV); //Threshold to find contour
thr.copyTo(con);

// Create sample and label data
vector< vector <Point> > contours; // Vector for storing contour
vector< Vec4i > hierarchy;
Mat sample;
Mat response_array;  
findContours( con, contours, hierarchy,CV_RETR_CCOMP, CV_CHAIN_APPROX_SIMPLE ); //Find contour

for( int i = 0; i< contours.size(); i=hierarchy[i][0] ) // iterate through first hierarchy level contours
{
    Rect r= boundingRect(contours[i]); //Find bounding rect for each contour
    rectangle(src,Point(r.x,r.y), Point(r.x+r.width,r.y+r.height), Scalar(0,0,255),2,8,0);
    Mat ROI = thr(r); //Crop the image
    Mat tmp1, tmp2;
    resize(ROI,tmp1, Size(10,10), 0,0,INTER_LINEAR ); //resize to 10X10
    tmp1.convertTo(tmp2,CV_32FC1); //convert to float
    sample.push_back(tmp2.reshape(1,1)); // Store  sample data
    imshow("src",src);
    int c=waitKey(0); // Read corresponding label for contour from keyoard
    c-=0x30;     // Convert ascii to intiger value
    response_array.push_back(c); // Store label to a mat
    rectangle(src,Point(r.x,r.y), Point(r.x+r.width,r.y+r.height), Scalar(0,255,0),2,8,0);    
}

// Store the data to file
Mat response,tmp;
tmp=response_array.reshape(1,1); //make continuous
tmp.convertTo(response,CV_32FC1); // Convert  to float

FileStorage Data("TrainingData.yml",FileStorage::WRITE); // Store the sample data in a file
Data << "data" << sample;
Data.release();

FileStorage Label("LabelData.yml",FileStorage::WRITE); // Store the label data in a file
Label << "label" << response;
Label.release();
cout<<"Training and Label data created successfully....!! "<<endl;

imshow("src",src);
waitKey();

训练和测试代码

代码语言:javascript
复制
Mat thr,gray,con;
Mat src=imread("dig.png",1);
cvtColor(src,gray,CV_BGR2GRAY);
threshold(gray,thr,200,255,THRESH_BINARY_INV); // Threshold to create input
thr.copyTo(con);


// Read stored sample and label for training
Mat sample;
Mat response,tmp;
FileStorage Data("TrainingData.yml",FileStorage::READ); // Read traing data to a Mat
Data["data"] >> sample;
Data.release();

FileStorage Label("LabelData.yml",FileStorage::READ); // Read label data to a Mat
Label["label"] >> response;
Label.release();


KNearest knn;
knn.train(sample,response); // Train with sample and responses
cout<<"Training compleated.....!!"<<endl;

vector< vector <Point> > contours; // Vector for storing contour
vector< Vec4i > hierarchy;

//Create input sample by contour finding and cropping
findContours( con, contours, hierarchy,CV_RETR_CCOMP, CV_CHAIN_APPROX_SIMPLE );
Mat dst(src.rows,src.cols,CV_8UC3,Scalar::all(0));

for( int i = 0; i< contours.size(); i=hierarchy[i][0] ) // iterate through each contour for first hierarchy level .
{
    Rect r= boundingRect(contours[i]);
    Mat ROI = thr(r);
    Mat tmp1, tmp2;
    resize(ROI,tmp1, Size(10,10), 0,0,INTER_LINEAR );
    tmp1.convertTo(tmp2,CV_32FC1);
    float p=knn.find_nearest(tmp2.reshape(1,1), 1);
    char name[4];
    sprintf(name,"%d",(int)p);
    putText( dst,name,Point(r.x,r.y+r.height) ,0,1, Scalar(0, 255, 0), 2, 8 );
}

imshow("src",src);
imshow("dst",dst);
imwrite("dest.jpg",dst);
waitKey();

结果

在结果中,第一行中的点被检测为8,并且我们没有对点进行训练。此外,我还考虑将第一层次中的每个轮廓作为样本输入,用户可以通过计算面积来避免它。

票数 58
EN

Stack Overflow用户

发布于 2021-05-29 15:05:25

我在生成训练数据时遇到了一些问题,因为有时很难识别最后选择的字母,所以我将图像旋转了1.5度。现在,每个字符都是按顺序选择的,经过训练后,测试仍然显示100%的准确率。代码如下:

代码语言:javascript
复制
import numpy as np
import cv2

def rotate_image(image, angle):
  image_center = tuple(np.array(image.shape[1::-1]) / 2)
  rot_mat = cv2.getRotationMatrix2D(image_center, angle, 1.0)
  result = cv2.warpAffine(image, rot_mat, image.shape[1::-1], flags=cv2.INTER_LINEAR)
  return result

img = cv2.imread('training_image.png')
cv2.imshow('orig image', img)
whiteBorder = [255,255,255]
# extend the image border
image1 = cv2.copyMakeBorder(img, 80, 80, 80, 80, cv2.BORDER_CONSTANT, None, whiteBorder)
# rotate the image 1.5 degrees clockwise for ease of data entry
image_rot = rotate_image(image1, -1.5)
#crop_img = image_rot[y:y+h, x:x+w]
cropped = image_rot[70:350, 70:710]
cv2.imwrite('rotated.png', cropped)
cv2.imshow('rotated image', cropped)
cv2.waitKey(0)

对于示例数据,我对脚本进行了一些更改,如下所示:

代码语言:javascript
复制
import sys
import numpy as np
import cv2

def sort_contours(contours, x_axis_sort='LEFT_TO_RIGHT', y_axis_sort='TOP_TO_BOTTOM'):
    # initialize the reverse flag
    x_reverse = False
    y_reverse = False
    if x_axis_sort == 'RIGHT_TO_LEFT':
        x_reverse = True
    if y_axis_sort == 'BOTTOM_TO_TOP':
        y_reverse = True
    
    boundingBoxes = [cv2.boundingRect(c) for c in contours]
    
    # sorting on x-axis 
    sortedByX = zip(*sorted(zip(contours, boundingBoxes),
    key=lambda b:b[1][0], reverse=x_reverse))
    
    # sorting on y-axis 
    (contours, boundingBoxes) = zip(*sorted(zip(*sortedByX),
    key=lambda b:b[1][1], reverse=y_reverse))
    # return the list of sorted contours and bounding boxes
    return (contours, boundingBoxes)

im = cv2.imread('rotated.png')
im3 = im.copy()

gray = cv2.cvtColor(im,cv2.COLOR_BGR2GRAY)
blur = cv2.GaussianBlur(gray,(5,5),0)
thresh = cv2.adaptiveThreshold(blur,255,1,1,11,2)

contours,hierarchy = cv2.findContours(thresh,cv2.RETR_LIST,cv2.CHAIN_APPROX_SIMPLE)
contours, boundingBoxes = sort_contours(contours, x_axis_sort='LEFT_TO_RIGHT', y_axis_sort='TOP_TO_BOTTOM')

samples =  np.empty((0,100))
responses = []
keys = [i for i in range(48,58)]

for cnt in contours:
    if cv2.contourArea(cnt)>50:
        [x,y,w,h] = cv2.boundingRect(cnt)

        if  h>28 and h < 40:
            cv2.rectangle(im,(x,y),(x+w,y+h),(0,0,255),2)
            roi = thresh[y:y+h,x:x+w]
            roismall = cv2.resize(roi,(10,10))
            cv2.imshow('norm',im)
            key = cv2.waitKey(0)

            if key == 27:  # (escape to quit)
                sys.exit()
            elif key in keys:
                responses.append(int(chr(key)))
                sample = roismall.reshape((1,100))
                samples = np.append(samples,sample,0)

responses = np.array(responses,np.ubyte)
responses = responses.reshape((responses.size,1))
print("training complete")

np.savetxt('generalsamples.data',samples,fmt='%i')
np.savetxt('generalresponses.data',responses,fmt='%i')
票数 2
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/9413216

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档