常用图像插值方法概述

缘由

之前我在公司做了一个在JNI层缩放Bitmap的需求。

需求本身很简单，就是按各种比例缩小或者放大图像，要求缩放后无明显锯齿，不失真。

很容易就想到了双线性插值算法，于是在Github上找了开源代码。即

https://github.com/AndroidDeveloperLB/AndroidJniBitmapOperations

里的函数：

Java_com_jni_bitmap_1operations_JniBitmapHolder_jniScaleBIBitmap

这个Github项目的历史有6年了，也有接近500的star。但接入后还是觉得效果不如预期，有时候失真严重。后来发现是因为函数实现里的几行代码逻辑有问题。于是向作者提了PullRequest, 已经被merge了。

拓展

传统的图像插值算法主要有以下几种：最邻近插值 / 双线性插值 / 双三次插值 / lanczos插值。以上算法效果按顺序越来越好，但计算量也是越来越大。

最邻近插值法

效果上比较粗糙，容易失真

实现最简单，就是取最接近插值点的像素的值。

双线性插值法

效果上比较平滑

在X和Y方向分别进行一次线性插值, 采样点的权重与和插值点的距离负相关。

设要插值的像素坐标为(X.a,Y.y), 大写和小写分别表示坐标的整数部分和小数部分，f(x)为读取像素值的函数，那么双线性插值的结果为

f(X.x,Y.y) = [(1-x)*f(X,Y) + x*f(X+1,Y)](1-y) + [(1-x)*f(X,Y+1) + x*f(X+1,Y+1)]y
           = (1-x)(1-y)*f(X,Y) + x(1-y)*f(X+1,Y) + (1-x)y*f(X,Y+1) + xy*f(X+1,Y+1) 

可以观察到，采样点的权重就是横向权重与纵向权重的乘积。

由于效果和耗时都适中，所以应用广泛，比如OpenGL里的GL_LINEAR就是双线性过滤的意思。

双线性插值图示

双三次插值法

效果上比双线性插值更少锯齿, 更平滑

比双线性的采样点更多，即取插值点周围的16个采样点的加权平均求得插值点的像素值。并且计算权重的过滤函数是三次多项式。

三线性插值图示

采样的过程可以用矩阵乘法表示如下

bicubic插值矩阵表示

其中i,j是坐标的整数部分。v,u是坐标的小数部分。f(x)为读取像素的函数。S(x)为权重函数。

而权重函数的公式为：

其中a的取值说明如下

  -0.5 三次Hermite样条
  -0.75 常用值
  -1 逼近y = sin(x*PI)/(x*PI)
  -2 常用值

权重函数对应的图像如下

lanczos插值

效果上比双三次插值更清晰锐利。但在图像的高频信号区域(像素值陡变的地方,比如素描的线条边缘)，会有振铃效应(Ringing Artifact), 这种情况下建议改用双线性过滤

原理和双三次插值法差不多。插值卷积核尺寸为4*4时，计算过程对应的矩阵表示和上面的bicubic插值矩阵表示一样。

计算权重的函数如下：

其中a = kernelWidth * 0.5。即在卷积核为4 * 4时, a= 2

权重函数对应的图像如下

Lanczos和双三次插值的耗时, 是双线性插值的2倍左右, 这个性能在绝大多数移动端场景下都是OK的。

其他补充

OpenGL领域还有MipMap三线性过滤法 GL_LINEAR_MIPMAP_LINEAR。

也可以接入FFmpeg直接使用libswscale库里的各种过滤算法。

开源库OpenCV也提供了各种图像插值算法的C++实现。