参考目录:
这一篇文章和上一篇的rank-IQA感觉都是不错的处理NR-IQA任务的框架,让我们好好学一学这一篇文章中的精髓。
这一篇文章的related work列举了很多之前的NR-IQA的模型:
不说了,看了半天很多都是很老的人工特征的方法,不太行不太行。
论文中也是使用了和上一篇文章rank-IQA一样的模型,孪生网络saimese net,论文中先提出了FR-IQA的模型框架:
在这个框架中,图片是被patch称32x32的大小,然后feature extractor使用的是VGG19,包含5个maxpool层,也就是说,经过features extractor后,特征会变成(512,1,1)这样的shape。
之前有读者提出哪里可以看到之前孪生网络的文章,我这里直接放上链接方便大家查阅:
孪生网络入门(下) Siamese Net分类服装MNIST数据集(pytorch)
对于FR-IQA问题,reference patch和distorted patch经过feature extractor得到两个512的向量,然后在fusion阶段使用concat拼接在一起,除了这两个,还把两个特征向量的差值也一同拼接进来,显式的把两个特征的区别也作为特征了,总之是这个样子的:
在fusion features vector后面有两个部分,一个是回归,一个是weights;关于如何从很多的patches中得到整个图片的质量分数,作者给出了两个方法: 这个patch是从图像中无重叠的采样
对于这种平均的方法,所有patch对于整个图片的影响是相同的,所以损失函数也定位MAE:
就是单纯的把reference去掉,然后不做特征融合。
这是一种利用CNN来处理质量评估的一个基本框架和思路。作为入门学习是比较好的一个框架。