作者:崔家华
编辑:黄俊嘉
写在最前面
验证码是根据随机字符生成一幅图片,然后在图片中加入干扰象素,用户必须手动填入,防止有人利用机器人自动批量注册、灌水、发垃圾广告等等 。验证码的作用是验证用户是真人还是机器人。本文将使用深度学习框架Tensorflow训练出一个用于破解Discuz验证码的模型。
背景介绍
我们先看下简单的Discuz验证码
打开下面的连接,你就可以看到这个验证码了。
http://cuijiahua.com/tutrial/discuz/index.php?label=jack
观察上述链接,你会发现label后面跟着的就是要显示的图片字母,改变label后面的值,我们就可以获得不同的Discuz验证码图片。如果会网络爬虫,我想根据这个api获取Discuz验证码图片对你来说应该很Easy。不会网络爬虫也没有关系,爬虫代码我已经为你准备好了。创建一个get_discuz.py文件,添加如下代码:
运行上述代码,你就可以下载5000张Discuz验证码图片到本地,但是要注意的一点是:请至少加200ms延时,避免给我的服务器造成过多的压力,如发现影响服务器正常工作,我会关闭此功能。
你好我也好,大家好才是真的好!
验证码下载过程如下图所示:
当然,如果你想省略麻烦的下载步骤也是可以的,我已经为大家准备好了6万张的Discuz验证码图片。我想应该够用了吧,如果感觉不够用,可以自行使用爬虫程序下载更多的验证码。6万张的Discuz验证码图片可到
http://cuijiahua.com/wp-content/themes/begin/down.php?id=2772下载。准备好的数据集,它们都是100*30大小的图片:
什么?你说这个图片识别太简单?没关系,有高难度的!
我打开的图片如下所示:
这是一个动图,并且还带倾斜、扭曲等特效。怎么通过api获得这种图片呢?
没错,只要添加一些参数就可以了,格式如上图所示,每个参数的说明如下:
- label:验证码
- width:验证码宽度
- height:验证码高度
- background:是否随机图片背景
- adulterate:是否随机背景图形
- ttf:是否随机使用ttf字体
- angle:是否随机倾斜度
- warping:是否随机扭曲
- scatter:是否图片打散
- color:是否随机颜色
- size:是否随机大小
- shadow:是否文字阴影
- animator:是否GIF动画
你可以根据你的喜好,定制你想要的验证码图片。
不过,为了简单起见,我们只使用最简单的验证码图片进行验证码识别。数据集已经准备好,那么接下来进入本文的重点,Tensorflow实战。
Discuz验证码识别
我们已经将验证码下载好,并且文件名就是对应图片的标签。这里需要注意的是:我们忽略了图片中英文的大小写。
1.数据预处理
首先,数据预处理分为两个部分,第一部分是读取图片,并划分训练集和测试集。因为整个数据集为6W张图片,所以我们可以让训练集为5W张,测试集为1W张。随后,虽然标签是文件名,我们认识,但是机器是不认识的,因此我们要使用text2vec,将标签进行向量化。明确了目的,那开始实践吧!
读取数据:
我们通过定义rate,来确定划分比例。例如:测试集1W张,训练集5W张,那么rate=1W/5W=0.2。
标签向量化:
既然需要将标签向量化,那么,我们也需要将向量化的标签还原回来。
运行上述测试代码,你会发现,文本向量化竟如此简单:
这里我们包括了63个字符的转化,0-9 a-z A-Z _(验证码如果小于4,用_补齐)。
2.根据batch_size获取数据
我们在训练模型的时候,需要根据不同的batch_size"喂"数据。这就需要我们写个函数,从整体数据集中获取指定batch_size大小的数据。
上述代码无法运行,这是我封装到类里的函数,整体代码会在文末放出。现在理解下这代码,我们通过train_flag来确定是从训练集获取数据还是测试集获取数据,通过batch_size来获取指定大小的数据。获取数据之后,将batch_size大小的图片数据和经过向量化处理的标签存放到numpy数组中。
3.CNN模型
网络模型如下:3卷积层+1全链接层。
继续看下我封装到类里的函数:
为了省事,name_scope什么都没有设定。每个网络层的功能,维度都已经在注释里写清楚了,甚至包括tensorflow相应函数的说明也注释好了。如果对于网络结构计算不太了解,推荐看下LeNet-5网络解析:http://cuijiahua.com/blog/2018/01/dl_3.html
LeNet-5的网络结构研究清楚了,这里也就懂了。
4.训练函数
准备工作都做好了,我们就可以开始训练了。
上述代码依旧是我封装到类里的函数,与我的一篇文章《[Tensorflow实战(一):打响深度学习的第一枪 – 手写数字识别(Tensorboard可视化)》(http://cuijiahua.com/blog/2018/01/dl_4.html)重复的内容不再讲解,包括Tensorboard的使用方法。
这里需要强调的一点是,我们需要在迭代到500次的时候重新获取下数据集,这样做其实就是打乱了一次数据集。为什么要打乱数据集呢?因为如果不打乱数据集,在训练的时候,Tensorboard绘图会有如下现象:
可以看到,准确率曲线和Loss曲线存在跳变,这就是因为我们没有在迭代一定次数之后打乱数据集造成的。
同时,虽然我定义了dropout层,但是在训练的时候没有使用它,所以才把dropout值设置为1。
5.整体训练代码
指定GPU,指定Tensorboard数据存储路径,指定最大迭代次数,跟Tensorflow实战(一)的思想都是一致的。这里,设置最大迭代次数为100W次。我使用的GPU是Titan X,如果是使用CPU训练估计会好几天吧....
创建train.py文件,添加如下代码:
代码跑了一个多小时终于跑完了,Tensorboard显示的数据:
准确率达到百分之90以上吧。
6.测试代码
已经有训练好的模型了,怎么加载已经训练好的模型进行预测呢?在和train.py相同目录下,创建test.py文件,添加如下代码:
运行程序,随机从测试集挑选5张图片,效果还行,错了一个字母:
总 结
通过修改网络结构,以及超参数,学习如何调参。
可以试试其他的网络结构,准确率还可以提高很多的。
Discuz验证码可以使用更复杂的,这仅仅是个小demo。
如有问题,请留言。如有错误,还望指正,谢谢!
本文出现的所有代码和数据集,均可在我的github上下载,欢迎Follow、Star:
http://cuijiahua.com/wp-content/themes/begin/inc/go.php?url=https://github.com/Jack-Cherish/Deep-Learning
6W张验证码下载地址(密码:d3iq):https://pan.baidu.com/s/1mjI2Gxq
个人网站:http://cuijiahua.com
PS: 如果觉得本篇本章对您有所帮助,欢迎关注、评论、赞!
机器学习算法全栈工程师
一个用心的公众号
进群,学习,得帮助
你的关注,我们的热度,
我们一定给你学习最大的帮助
领取专属 10元无门槛券
私享最新 技术干货