概述
OpenCV在使用卷积进行图像处理过程种,如何处理边缘像素与锚定输出两个技术细节一直是很多人求而不得的疑惑。其实OpenCV在做卷积滤波时会对图像进行边界填充,实现对边缘像素的卷积计算的支持,不同填充方式与不同锚定点会得到图像卷积输出不同的结果。
边界填充
我们首先来看一下OpenCV种支持标准卷积边缘填充做法,OpenCV支持的有如下几种卷积边缘填充算法:
常量边界
BORDER_CONSTANT
iiiiii|abcdefgh|iiiiiii
边界复制
BORDER_REPLICATE
aaaaaa|abcdefgh|hhhhhhh
边界反射
BORDER_REFLECT
fedcba|abcdefgh|hgfedcb
边界换行
BORDER_WRAP
cdefgh|abcdefgh|abcdefg
边界反射101
BORDER_REFLECT_101
gfedcb|abcdefgh|gfedcba
边界透明-很不幸运的是OpenCV4已经不支持啦!
BORDER_TRANSPARENT
uvwxyz|abcdefgh|ijklmno
默认填充方式
OpenCV中 filter2D, blur, GaussianBlur等卷积操作默认支持为BORDER_DEFAULT(BORDER_REFLECT_101)
各种不同方式对边缘的填充效果如下:
上图背景为红色,填充上下左右四个像素大小边缘!右下角为原图,左上角图像为常量边缘填充效果(i=0黑色)。
相关代码实现如下:
image = cv.imread("D:/images/qxx.png");
ih, iw = image.shape[:2]
border = 4
# 边界填充
b1 = cv.copyMakeBorder(image, border, border, border, border, cv.BORDER_CONSTANT)
b2 = cv.copyMakeBorder(image, border, border, border, border, cv.BORDER_REPLICATE)
b3 = cv.copyMakeBorder(image, border, border, border, border, cv.BORDER_REFLECT)
b4 = cv.copyMakeBorder(image, border, border, border, border, cv.BORDER_WRAP)
b5 = cv.copyMakeBorder(image, border, border, border, border, cv.BORDER_REFLECT_101)
# 边界填充类型说明
cv.putText(image, "input", (20,20), cv.FONT_HERSHEY_PLAIN, 1.0, (255, 0, 0))
cv.putText(b1, "BORDER_CONSTANT", (20, 20), cv.FONT_HERSHEY_PLAIN, 1.0, (255, 0, 0))
cv.putText(b2, "BORDER_REPLICATE", (20, 20), cv.FONT_HERSHEY_PLAIN, 1.0, (255, 0, 0))
cv.putText(b3, "BORDER_REFLECT", (20, 20), cv.FONT_HERSHEY_PLAIN, 1.0, (255, 0, 0))
cv.putText(b4, "BORDER_WRAP", (20, 20), cv.FONT_HERSHEY_PLAIN, 1.0, (255, 0, 0))
cv.putText(b5, "BORDER_REFLECT_101", (20, 20), cv.FONT_HERSHEY_PLAIN, 1.0, (255, 0, 0))
# 拼接结果输出
h = b1.shape[0]*2+8
w = b1.shape[1]*3+16
bh, bw = b1.shape[:2]
result = np.zeros([h, w, 3], dtype=np.uint8)
result[:,:,:] = (0, 0, 255)
result[0:bh,0:bw,:] = b1;
result[0:bh, bw+8:bw+bw+8, :] = b2;
result[0:bh, bw+bw+16:bw+bw+bw+16, :] = b3;
result[bh+8:bh+bh+8,0:bw,:] = b4;
result[bh+8:bh+bh+8, bw+8:bw+bw+8, :] = b5;
result[bh+12:bh+12+ih, bw+bw+20:bw+bw+20+iw, :] = image;
# 显示
cv.imshow("result", result)
cv.imwrite("D:/border_result.png", result)
cv.waitKey(0)
cv.destroyAllWindows()
锚定位置
在进行卷积处理的时候,卷积mask与对应的像素块点乘得到输出,把输出结果赋值给哪个像素点是由锚定参数anchor决定,以自定义滤波函数filter2D为例说明
void cv::filter2D(
InputArray src,
OutputArray dst,
int ddepth,
InputArray kernel,
Point anchor = Point(-1,-1),
double delta = 0,
int borderType = BORDER_DEFAULT
)
其中
kernel - 表示输入的自定义卷积核大小
anchor - 表示锚定点位置,默认情况Point(-1, -1)表示是卷积核的中心位置
borderType - 表示边缘填充的像素大小,ksize/2其中ksize表示卷积核大小
上述函数在卷积核为奇数的时候,卷积核的中心位置很容易确定,比如3x3的卷积核大小,中心位置为Point(1,1),5x5的卷积核大小中心位置为Point(2,2)
但是当卷积核大小为偶数的时候,很多人都搞不清楚中心位置是如何确定的,其实这个时候中心也为(ksize/2), 对2x2的卷积核,中心位置为Point(1,1),4x4的卷积核中心位置为Point(2,2)。
锚定位置对卷积结果的影响
以2x2与4x4的卷积核为与3x3与5x5的像素数据为例
情况一
2x2卷积核对3x3的像素块
当锚定点为默认(1,1)/(-1,-1)时候:
当锚定点设置为(0,0)时:
可以看到二者的输出结果全然不同,原因在于当锚定点不同的时候,卷积mask的开始位置也会不不同,图示如下:
情况二:
4x4卷积核对5x5的像素块:
使用BORDER_DEFAULT填充方式,填充之后为:
不同锚定位置的均值卷积输出结果:
三个不同锚定点对应卷积mask的起始位置与锚定像素输出:
代码演示如下:
src = np.zeros([3, 3], dtype=np.uint8)
src[0, 0] = 16
src[1, 1] = 8
src[2, 2] = 4
print("\n input image: \n",src)
k1 = [[1, 0], [0, -1]]
print("\nkernel : \n", k1)
result = cv.copyMakeBorder(src, 1, 1, 1, 1, cv.BORDER_DEFAULT)
print("\nBORDER_DEFAULT 边界填充 : \n", result)
dst = cv.filter2D(src, cv.CV_32F, np.asarray(k1), None, anchor=(0, 0), borderType=cv.BORDER_DEFAULT)
print("\nfilter2D : \n", dst)
print("\n")
src = np.zeros([5, 5], dtype=np.uint8)
src[0, 0] = 32
src[1, 1] = 16
src[2, 2] = 8
src[3, 3] = 4
src[4, 4] = 2
print("\ninput: \n", src)
k2 = np.ones([4, 4], dtype=np.int32)
print("\nkernel:\n", k2)
result = cv.copyMakeBorder(src, 3, 3, 3, 3, cv.BORDER_DEFAULT)
print("\n边界填充:\n", result)
dst = cv.filter2D(src, cv.CV_32F, np.asarray(k2), None, anchor=(-1, -1), borderType=cv.BORDER_DEFAULT)
print("\n filter2D Result: \n", dst)