【图像处理技术】 ｜ 黑科技解读 之 PS检测、弯曲拉平、切边增强、摩尔纹
【图像处理技术】 ｜ 黑科技解读 之 PS检测、弯曲拉平、切边增强、摩尔纹
🎬 图像处理技术 黑科技解读 之 PS检测、弯曲拉平、切片增强、摩尔纹
📢 前言
- 随着
人工智能方向的大火，现在人们生活中对这方面的接触也是越来越多。 - 最近对
图像处理技术也是非常的感兴趣，尤其是一些文字识别、证件识别这种与AI智能有关的方向。 - 然后周末闲来无事看到了几个与这方面有关的非常意思的
黑科技，顺便整理了一下。 - 今天就来给大家分享一下图像处理技术相关的知识，以及部分黑科技解读，就当增加自己的知识面拓展学习吧！
一、 图像处理技术
1.1 什么是图像处理技术
首先来简单介绍介绍一下什么是 图像处理技术 。
图像处理技术 是用计算机对图像信息进行处理的技术。主要包括图像数字化、图像增强和复原、图像数据编码、图像分割和图像识别等。
其中图像一般有两种表达形式：
- 几何图形(Graphics) ：由点、线、面、颜色等组成，由绘图程序产生，是一系列绘图指令的集合，一般用各种绘图软件制作。
- 点阵图像(Image) ：由各像素点和颜色组合而成，使用摄像机、扫描仪、数码相机等设备获得，也可以使用绘图软件生成。图像表示的画面细腻，层次和色彩丰富。图像的各像素点逐点存储在计算机中，占用的存储空间大。
1.2 图像处理技术有哪些研究内容
而关于 图像处理技术 主要有以下几个大的方向：
- 图像增强。图像增强的目的是改善图像的视觉效果，它是各种技术的汇集，还没有形成一套通用的理论。常用的图像增强技术有对比度处理、直方图修正、噪音处理、边缘增强、变换处理和伪彩色等。在多媒体应用中，对各类图像主要进行图像增强处理，各类图像处理软件一般都支持图像增强技术。
- 图像恢复。图像恢复的目的是力求图像保持本来面目，用来纠正图像在形成、传输、存储、记录和显示过程中产生的变质和失真。图像恢复必须首先建立图像变质模型，然后按照其褪化的逆过程恢复图像。
- 图像识别。图像识别也称模式识别，就是对图像进行特征抽取，然后根据图形的几何及纹理特征对图像进行分类，并对整个图像作结构上的分析。通常在识别之前，要对图像进行预处理，包括滤除噪声和干扰、提高对比度、增强边缘、几何校正等。图像识别的应用范围极其广泛，如工业自动控制系统、指纹识别系统以及医学上的癌细胞识别等。
- 图像编码。图像编码的目的是为了解决数字图像占用空间大，特别是在做数字传输时占用频带太宽的问题。图像编码的核心技术是图像压缩。对那些实在无法承受的负荷，只好利用数据压缩使图像数据达到有关设备能够承受的水平。评价图像压缩技术要考虑三个方面的因素：压缩比、算法的复杂程度和重现精度。
- 图像分割：图像分割是数字图像处理中的关键技术之一。图像分割是将图像中有意义的特征部分提取出来，其有意义的特征有图像中的边缘、区域等，这是进一步进行图像识别、分析和理解的基础。
- 图像描述：图像描述是图像识别和理解的必要前提。作为最简单的二值图像可采用其几何特性描述物体的特性，一般图像的描述方法采用二维形状描述，它有边界描述和区域描述两类方法。对于特殊的纹理图像可采用二维纹理特征描述。随着图像处理研究的深入发展，已开始进行三维物体描述的研究，提出了体积描述、表面描述、广义圆柱体描述等方法。
1.3 图像处理技术处理方法
目前对于图像的处理技术包括 点处理、组处理、几何处理 和 帧处理 四种方法。
- 点处理方法 是处理图像最基本的方法，由于该方法处理的对象是像素，故此得名。点处理方法简单而有效，主要用于图像的亮度调整、图像对比度的调整，以及图像亮度的反置处理等。
- 图像的 组处理方法 处理的范围比点处理大，处理的对象是一组像素，因此又叫“区处理或块处理”。组处理方法在图像上的应用主要表现在：检测图像边缘并增强边缘、图像柔化和锐化、增加和减少图像随机噪声等。
- 图像的几何处理方法 是指经过运算，改变图像的像素位置和排列顺序，从而实现图像的放大与缩小、图像旋转、图像镜像、以及图像平移等效果的处理过程。
- 图像的 帧处理方法 是指将一幅以上的图像以某种特定的形式合成在一起，形成新的图像。其中，特定的形式是指：经过“逻辑与”运算进行图像的合成、按照“逻辑或”运算关系合成、以“异或”逻辑运算关系进行合成、图像按照相加或者相减以及有条件的复合算法进行合成、图像覆盖或取平均值进行合成。图像处理软件通常具有图像的帧处理功能，并且以多种特定的形式合成图像。 [5]
二、黑科技解读
2.1 黑科技 之 PS检测
2.1.1 PS 是什么？
提到 PS检测 自然免不了再来简单的介绍一下什么是PS。
PS 就是我们平时所说的由 Photoshop 衍生而来的一种对图片进行修改美化的一种行为。
Photoshop的发展史
1987年，Photoshop的主要设计师托马斯·诺尔买了一台苹果计算机（MacPlus）用来帮助他的博士论文。与此同时，Thomas发现当时的苹果计算机无法显示带灰度的黑白图像，因此他自己写了一个程序Display；而他兄弟约翰·诺尔这时在导演乔治·卢卡斯的电影特殊效果制作公司Industry Light Magic工作，对Thomas的程序很感兴趣。两兄弟在此后的一年多把Display不断修改为功能更为强大的图像编辑程序，经过多次改名后，在一个展会上接受了一个参展观众的建议，把程序改名为Photoshop。此时的Display/Photoshop已经有Level、色彩平衡、饱和度等调整。此外John写了一些程序，后来成为插件（Plug-in）的基础。
他们第一个商业成功是把Photoshop交给一个扫描仪公司搭配卖，名字叫做BarneyscanXP，版本是0.87。与此同时John继续找其他买家，包括SuperMac和Aldus都没有成功。最终他们找到了Adobe的艺术总监Russell Brown。Russell Brown此时已经在研究是否考虑另外一家公司Letraset的Color Studio图像编辑程序。看过Photoshop以后他认为Knoll兄弟的程序更有前途。在1988年7月他们口头决定合作，而真正的法律合同到次年4月才完成。
在二十世纪90年代初美国的印刷工业发生了比较大的变化，印前（pre-press）电脑化开始普及。Photoshop在版本2.0增加的CMYK功能使得印刷厂开始把分色任务交给用户，一个新的行业桌上印刷（Desktop Publishing－DTP)由此产生。
2.1.2 PS检测介绍
PS检测 说简单一点就是一项可以检测照片有没有被PS修改过的一个功能。
在日常生活中某些信息可能会存在造假现象，尤其是对于一些证件类的图片等信息，有些人可能会使用PS等工具对图片中的一些关键信息进行一些PS修改，以此达到一些其他目的。
所以这时候我们就需要一些反制的手段去检测这种行为，所以PS检测这项功能就产生啦！
这是一项超级实用的技能，在日常生活中也是一个超级值得解锁的技能！
尤其是在 智能检测在反欺诈、合规风控 等领域意义重大。
2.1.3 PS检测原理剖析
Adobe 在2018 CVPR上发表了一篇利用深度神经网络检测PS痕迹的论文，Learning Rich Features for Image Manipulation Detection
大体内容如下：
PS痕迹检测，沿用物体检测套路，直接上faster rcnn，ground-truth就是p上去的区域。论文创新点就是，除了使用传统RGB图像作为网络输入外，还让RGB图像过一遍SRM filter，得到noise feature，让这个noise feature也作为网络的输入。注意，RGB和noise走的分别是两个faster rcnn网络，但只使用RGB网络训练RPN，用这个RPN，对两个网络的feature map做RoI pooling。在分别得到RGB和noise的RoI之后，对这两个RoI做Bilinear pooling，得到feature进分类器。而RGB的RoI则做bounding box回归。
意思就是说一些PS痕迹，在RGB空间，看不出什么破绽，但在noise map上，破绽就暴露出来，达到了检测PS痕迹，通过一些例子就可以看到效果了。
Exif检测 是也 PS检测 的常用方法，基于Exif信息来判断图片是否存在篡改主要问题：
- 图片经过PS，GMIP等图像编辑软件，但未篡改具体内容，造成误判
- 图片被篡改后，用第三方软件或工具抹除Exif信息，造成误判
2.1.4 PS检测样例
下面是进行 PS检测 的一个样例界面，可以看到通过检测可以发现一些修改痕迹，从而避免一些不必要的损失。
除了可以在网站上进行功能测试之外，也可以在手机上用小程序进行使用哦！
这个样例是合合信息公司的一个产品，大家感兴趣的也可以去尝试一下：
通过其提出的 CNN Tamper Detector技术对检测 RGB域 和 噪声域存在痕迹的篡改 起到了一个很好的效果。
包括对 擦除、擦除重打印文本、重打印文本、复制-移动、拼接等检测都能由明显的效果提升。
以及使用 DCT Transformer Detector 了 网络结构 对检测频域存在痕迹的篡改，如复制-移动、拼接等痕迹 也有一个质的提升。
而且该网站也支持使用多种脚本代码实现效果，对程序员来说也是非常的友好！
而且文档也是到位的齐全，这一点必须给五星好评！
该公司还有很多与这方面相关的产品，我最近也一直在用，所以也是可以推给有需求的小伙伴。
2. 2 黑科技之 弯曲拉平
2.2.1 什么是弯曲拉平
我们在日常生活中在对一些图片文件拍照的时候可能会出现一些折叠弯曲的现象，这在某些时候是避免不了的。
正所谓 车到山前必有路，船到桥头自然直。遇到什么困难都有能人异士想办法去解决问题，只要思想不滑坡，办法总比困难多！
这个时候 弯曲拉平 功能就出现了，它可以将我们平时拍出来的照片中有弯曲、折叠、皱巴巴的图片进行一个智能矫正，以达到一个更好的显示效果。
2.2.2 弯曲拉平的原理剖析
关于 弯曲拉平 的技术方案也有很多种，传统的文本纠错系统基本都是基于pipeline的，利用pipeline也可以在弯曲拉平上使用。
弯曲拉平 有种方面也在于根据图像特征自动检测出图像倾斜方向和倾斜角度。
目前常用的倾斜角度方法有：基于投影的方法、基于Hough变换、基于线性拟合，还有进行傅里叶变换到频域来进行检测的方法。
基于投影的方法，利用图像水平方向和垂直方向的投影特征来进行倾斜判断。主要用到投影的方差和均方差、投影特征矢量、梯度方向场等统计特性。
在图像投影中，一条直线沿着它的发现方向投影最长，沿着水平方向投影最短，此称之为Radon变换。定义：二元函数f（x,y)的投影是在某一方向上的线积分，例如f(x,y)在垂直方向上的线积分是f(x,y)在x方向上的投影，在水平方向上的线积分是在y方向上的投影，沿y’方向的线积分是沿x’方向上的投影。
还有就是使用DewarpNet技术：使用堆叠的 3D 和 2D 回归网络对单图像文档进行解扭曲。
2.3 黑科技之 切边增强
2.3.1 切边增强
切边增强 也是图像增强处理的一种。
它是将图像（或影像）相邻像元（或区域）的亮度值（或色调）相差较大的边缘（即影像色调突变或地物类型的边界线）处加以突出强调的技术方法。 经边缘增强后的图像能更清晰地显示出不同的物类型或现象的边界，或线形影像的行迹，以便于不同的物类型的识别及其分布范围的圈定。
而 切边增强 则是可以提供一个更好的展示效果，以及对重要信息的抽取显示。
比如我们在对一些票据、黑板、投影屏幕等进行拍照时，可能会出现出现很多我们不想要的元素在里面，而切片增强则可以使我们的拍出来的目标更加明确、针对性更强，对日常生活也是提供了一个很大的便利性！
合合信息智能文字识别服务平台textin 的切边增强功能也是十分强大，可以让我们更好的聚焦文本内容，带来更好的展示效果。
2.3.2 切边增强技术原理剖析
利用相关掩膜技术，将原图像（影像）拷制成一张正膜片和一张负膜片，并使两张不同性质的膜片精确重叠，在曝光冲印时，将两张膜片相互错动很小的距离。
这样得到一张相应影像有稍许错位“镶边”的图像，其大部分影像正负抵消，而其边缘部分出现一亮线（或暗线），达到从背景中突出影象边界线的显示效果，使图像达到增强。
切边增强 还可通过其它方法或计算机处理来实现。
图像滤波 图像滤波 可以更改或者增强图像，通过滤波可以强调一些特征或者去除图像中一些不需要的部分。图像滤波既可以在实域进行，也可以在频域进行。图像滤波通过下式描述：
图像梯度 图像函数I（x,y）在点(x,y)的梯度是一个具有大小和方向的矢量，定义GX,GY分别表示x方向和y方向的梯度，梯度的方向是函数f(x,y)变化最快的方向，当图像中存在边缘时，一定有较大的梯度值，相反，当图像中有比较平滑的部分时，灰度值变化较小，则相应的梯度也较小。梯度矢量可以表示为
图像分割 图像分割 是将图像细分为构成它的子区域或对象，这些区域互不相交，每个区域都满足特性一致性。在医学领域，图像分割是从原始图像中把感兴趣的区域提取并显示出来，是病变区域提取、特定组织测量及三维重建的基础，为临床诊断治疗提供可靠信息。
图像分割算法可分为三类：
- 基于区域的分割算法，利用区域之间的相似度
- 基于边缘的分割算法，利用区域之间的差异性
- 将二者结合的分割算法
2.4 黑科技之 摩尔纹
2.4.1 什么是摩尔纹
摩尔纹 是一种在数码相机或扫描仪等设备上感光元件出现的高频干扰的条纹，使图片出现彩色，没有明显的形状规律。
当感光元件像素的空间频率与影像中条纹的空间频率接近或当图案的细条状结构与传感器的结构以小角度交叉时，摩尔纹可能出现。
它可通过亮度或颜色来展现。消除干扰的措施是在传感器前使用抗混叠滤镜，不过会降低镜头分辨率。
从技术角度上讲，摩尔条纹是两条线或两个物体之间以恒定的角度和频率发生干涉的视觉结果，当人眼无法分辨这两条线或两个物体时，只能看到干涉的花纹，这种光学现象就是摩尔条纹。
在裸眼3D显示中，显示面板上的黑矩阵条纹与视差挡板或者柱透镜光栅的条纹重叠，就会产生摩尔条纹，严重影响观看效果。
下面是一个去屏幕纹的效果展示，可以看到效果非常明显。
2.4.2 去除摩尔纹技术原理剖析
消除摩尔纹有两种大方向的方案。
一个是在从源头上解决，也就是在拍摄照片时要注意的地方。
- 改变相机角度。由于相机与物体的角度会导致摩尔波纹，稍微改变相机的角度（通过旋转相机）可以消除或改变存在的任何摩尔波纹。
- 改变相机位置。此外，通过左右或上下移动来改变角度关系，可以减少摩尔波纹。
- 改变焦点。细致图样上过于清晰的焦点和高度细节可能会导致摩尔波纹，稍微改变焦点可改变清晰度，进而帮助消除摩尔波纹。
- 改变镜头焦长。可用不同的镜头或焦长设定，来改变或消除摩尔波纹。
第二种则是对图像的后期处理。
图像出现摩尔纹的根本原因是单像素直线在发生旋转时，势必会出现像素错位，从上至下所有的渐变区域连在一起就会形成摩尔纹。
所以就需要一种算法系统来对这种现象进行纠正，目前合合信息智能文字识别服务平台textin有一套自己的摩尔纹去除系统算法，试用了一下感觉效果很好。
👥总结
- 本文简单介绍了关于 图像处理技术 中的几个较为常见的点，包括
PS检测、弯曲拉平、切片增强、摩尔纹。 - 这些技术其实在目前很多网站中都已经可以做到一个很好的效果了，我在网上也是搜索了很多关于这方面的网站。
- 这里给大家推荐一个网站：合合信息智能文字识别服务平台Textin
- 这是一个智能文字识别云服务平台，我在本文中用到的PS检测，摩尔纹去除也都是使用的该网站的一个产品实现的，也可以看到效果还是很棒的！
- 该网站还有一些其他很实用的技能，包括通用文字识别、卡证文字识别、票据文字识别、图像智能处理等等功能，就不一一介绍啦，大家感兴趣的可以自行去看一下，相信你一定也会爱上这个网站的！
