太嚣张了！他竟用Python绕过了“验证码”

“

很多网站登录都需要输入验证码，如果要实现自动登录就不可避免的要识别验证码。本文以一个真实网站的验证码为例，实现了基于 KNN 的验证码识别。

准备工作

这里我们使用 OpenCV 做图像处理，所以需要安装下面两个库：

识别原理

我们采取一种有监督式学习的方法来识别验证码，包含以下几个步骤：

图片处理：对图片进行降噪、二值化处理。

切割图片：将图片切割成单个字符并保存。

人工标注：对切割的字符图片进行人工标注，作为训练集。

训练数据：用 KNN 算法训练数据。

检测结果：用上一步的训练结果识别新的验证码。

下面我们来逐一介绍每一步的过程，并给出具体的代码实现。

图片处理

先来看一下我们要识别的验证码是长什么样的：

上图可以看到，字符做了一些扭曲变换。仔细观察，还可以发现图片中间的部分添加了一些颗粒化的噪声。

我们先读入图片，并将图片转成灰度图，代码如下：

经过上面的处理，我们的彩色图片变成了下面这样：

将图片做二值化处理，代码如下：

127 是我们设定的阈值，像素值大于 127 被置成了 0，小于 127 的被置成了 255。处理后的图片变成了这样：

接下来，我们应用高斯模糊对图片进行降噪。高斯模糊的本质是用高斯核和图像做卷积，代码如下：

降噪后的图片如下：

上图可以看到一些颗粒化的噪声被平滑掉了。降噪后，我们对图片再做一轮二值化处理：

现在图片变成了这样：

好了，接下来，我们要开始切割图片了。

切割图片

这一步是所有步骤里最复杂的一步。我们的目标是把最开始的图片切割成单个字符，并把每个字符保存成如下的灰度图：

首先我们用 OpenCV 的 findContours 来提取轮廓：

我们把提取的轮廓用矩形框起来，画出来是这样的：

可以看到，每个字符都被检测出来了。但这只是理想情况，很多时候，相邻字符有粘连的会被识别成同一个字符，比如像下面的情况：

要处理这种情况，我们就要对上面的图片做进一步的分割。字符粘连会有下面几种情况，我们逐一来看下该怎么处理。

①4 个字符被识别成 3 个字符

这种情况，对粘连的字符轮廓，从中间进行分割，代码如下：

分割后，图片变成了这样：

②4 个字符被识别成 2 个字符

4 个字符被识别成 2 个字符有下面两种情况：

对第一种情况，对于左右两个轮廓，从中间分割即可。对第二种情况，将包含了 3 个字符的轮廓在水平方向上三等分。

具体代码如下：

分割后的图片如下：

③4 个字符被识别成 1 个字符

这种情况对轮廓在水平方向上做四等分即可，代码如下：

分割后的图片如下：

对图片分割完成后，我们将分割后的单个字符的图片存成不同的图片文件，以便下一步做人工标注。

存取字符图片的代码如下：

字符图片保存在名为 char 的目录下面，这个目录里的文件大致是长这样的（文件名用时间戳命名，确保不会重名）：

接下来，我们开始标注数据。

人工标注

这一步是所有步骤里最耗费体力的一步了。为节省时间，我们在程序里依次打开 char 目录中的每张图片，键盘输入字符名，程序读取键盘输入并将字符名保存在文件名里。

代码如下：

这里一共标注了大概 800 张字符图片，标注的结果存在名为 label 的目录下，目录下的文件是这样的（文件名由原文件名+标注名组成）：

接下来，我们开始训练数据。

训练数据

首先，我们从 label 目录中加载已标注的数据：

接下来，训练我们的模型：

训练完，我们用这个模型来识别一下新的验证码。

检测结果

下面是我们要识别的验证码：

对于每一个要识别的验证码，我们都需要对图片做降噪、二值化、分割的处理（代码和上面的一样，这里不再重复）。

假设处理后的图片存在变量 im_res 中，分割后的字符的轮廓信息存在变量 boxes 中，识别验证码的代码如下：

运行上面的代码，可以看到程序输出：

图片中的验证码被成功地识别出来。我们测试了下识别的准确率，取 100 张验证码图片（存在 test 目录下）进行识别，识别的准确率约为 82%。

看到有人说用神经网络识别验证码，准确率可以达到 90% 以上，下次有机会可以尝试一下。

完整代码已上传 GitHub，所有训练数据、测试数据、已标注图片都已上传百度网盘，后台回复“验证码”可获取地址。

作者：沈仲强

编辑：陶家龙、孙淑娟

沈仲强

资深 Python 程序员，先后供职于 Morgan Stanley 和 ebay，擅长爬虫、Web 开发、数据分析。