tensorflow版PSENet 文本检测模型训练和测试
tensorflow版PSENet 文本检测模型训练和测试
psenet核心是为了解决基于分割的算法不能区分相邻文本的问题，以及对任意形状文本的检测问题。
psenet依然采用基于分割的方式，但是对文本行不同核大小做预测，然后采用渐进式扩展算法扩展小尺度kernel到最终的文本行大小。因为在小尺度kernel之间存在比较大的margin，因此能够很好的区分相邻的文本行。最终结果在icdar2015和icdar2017都取得了sota的效果，而其最大的亮点是在SCUT-CTW1500弯曲文本数据集上取得了超过先前最好算法6.37%的结果。
从上图(b)中可以看出基于回归的方式不能对弯曲文本做出很好的定位，而从(c)中可以看出基于语义分割的方式虽然可以定位弯曲文本，但是不容易将相邻的文本区分开来。而(d)中采用本文提出的渐进式扩展算法能够较好的定位弯曲文本，并且能将不同文本实例区分开来。
其具体采用的方式是首先预测每个文本行的不同kernels，这些kernels和原始文本行具有同样的形状，并且中心和原始文本行相同，但是在尺度上是逐渐递增的，最大的kernel就是原始文本行大小。之后对这些kernels采用bfs算法，首先从最小scale的kernel开始，逐步对它进行扩增到更大的kernel，最终扩增到原始文本行大小。而之所以这种方式能够区分文本行边缘像素，是因为对于最小scale的kernel，不同文本行是完全分离开的，而在逐渐扩展的过程中是受上一级kernel监督的，因此即使扩增到原始文本行大小也能够将边缘像素区分开来。 网络结构： 文章使用在ImageNet数据集上预训练的Resnet+fpn作为特征提取的网络结构
首先将高层特征和低层特征融合后得到(P2, P3, P4, P5)四个特征层，其中每个特征层的channel数量为256。之后将四个特种层concat得到F， 其中F=C(P2,P3,P4,P5) = P2 || Upx2(P3) || Upx4(P4) || Upx8(P5)，其中的||就代表concat。x2,x4,x8分别代表2倍、4倍和8倍的上采样。将F送入Conv(3,3)-BN-ReLU层，并将特征层的channel数量变为256。之后再将F送入多个Conv(1,1)-Up-Sigmod层来得到n个分割结果S1,S2,...Sn，其中的Up代表上采样。 渐进式扩展算法： 渐进式扩展算法核心思想就是Breadth-First-Search(BFS)，这里我们拿3个分割结果S={S1,S2,S3}来举例。
其中S1(上图a)代表最小核的分割结果，它内部有四个连通区域C={c1,c2,c3,c4}。图b将这四个连通区域使用不同颜色标记。之后我们逐步判断和C相邻的像素是否在S2中，如果在，则将其合并到图b中，从而得到合并后的结果图c。S3同理，最终我们抽取图d中不同颜色标注的连通区域作为最后的文本行检测结果。
渐进式扩展算法的伪代码见下图：
其中T、P代表中间结果，Q是一个队列，Neighbor(.)代表p的相邻像素。GroupByLabel(.)代表根据label对中间结果T进行合并。需要注意的是对于相邻连通区域，在边缘处合并时会产生冲突，因此采用先first-come-first-served的原则，将会产生冲突的像素只合并到一个kernel中去。
标签生成：
为了生成训练时不同尺寸kernels所对应的ground truths，作者采用Vatti clipping algorithm将原始多边形pn缩放di个像素从而得到pi，其中每个缩放的pi都使用0/1的二进制mask来表示分割后的标签的。
其中m代表最小的缩放比例，值的范围为(0,1]。因此可以看出ri由超参数n和m来决定，当i=1时，r1为m，当i=n时，rn为1，因此ri的取值范围为[m,1]。
作者也分别将n和m取不同参数在icdar2015数据集上做了实验，如下图所示：
固定m=0.5，n从2增加到10，从上图(a)中可以看出当n超过6以后fscore值基本不再增长。可以得出多核结构是有效的，但也不需要过多的kernels。
固定n=6，m从0.1增加到0.9，从上图(b)中可以看出m过大和过小都会掉点。当m过大时，psenet很难区分挨得很近的文本实例，而当m过小时，psenet可能会把一个文本行分成不同部分，从而造成训练不同很好的收敛。
tensorflow版 PSENet训练和测试
项目相关代码 和预训练模型获取：
关注微信公众号 datayx 然后回复 pse 即可获取。
AI项目体验地址 https://loveai.tech
根据测试命令
- python eval.py
- --test_data_path=./tmp/images/
- --gpu_list=0
- --checkpoint_path=./resnet_v1_50/
- --output_dir=./tmp/
在项目根目录下创建文件夹tmp，resnet_v1_50，在tmp下创建images文件夹，测试图片放在该文件夹下。
运行测试命令，根据提示缺啥包装啥包，因为我的环境是python3.6，作者用的是python2.7（虽然作者说python2和python3都可以），还是会报一些错，进行如下修改：
1.1 utils_tool.py 12行：
import queue改成：
eval.py 228行：
xrange改成range
2.g++版本不够的话，pse是不能编译。我是4.8版本的，所以要升级一下。同时，用python3的话，把pse/Makefile文件中的，
第一行：(shell python-config --cflags)改成(shell python3-config --cflags)
第二行：(shell python-config --ldflags)改成(shell python3-config --ldflags)
不要去下载源码编译，很浪费时间。
https://www.jianshu.com/p/a54c882ac513通过这个blog去升级就行。
3.model下载下来之后没有checkpoint这个文件，自己新建一个：
模型解压后的三个文件放在resnet_v1_50文件夹下
eval.py第172行
model_path = os.path.join(FLAGS.checkpoint_path, os.path.basename(ckpt_state.model_checkpoint_path))直接换成
model_path = "./resnet_v1_50/model.ckpt"4.数据集下下来，放在data/icdar2015下面即可（自己创建这个文件夹）