深度学习 | 如何理解卷积

Justlovesmile

发布于 2021-12-14 10:02:51

1.4K0

发布于 2021-12-14 10:02:51

文章被收录于专栏：云+分享

1.什么是卷积

对于卷积的定义，如下：

连续形式

(f×g)(n)=\int_{-\infty}^{\infty}f(\tau )g(n-\tau)d\tau

离散形式

(f×g)(n)=\sum_{\tau=-\infty}^{\infty}f(\tau)g(n-\tau)

先对g函数进行翻转，相当于在数轴上把g函数从右边褶到左边去，也就是卷积的“卷”的由来。然后再把g函数平移到n，在这个位置对两个函数的对应点相乘，然后相加，这个过程是卷积的“积”的过程。

上述公式中有一个共同的特征：

n=\tau + (n - \tau)

对于这个特征，我们可以令x=\tau,y=n-\tau，那么x+y=n就是一些直线

如果遍历这些直线，就好比，把毛巾沿着角卷起来：

2.通俗易懂的理解卷积

2.1离散卷积的例子：丢骰子

问题：

把两枚骰子抛出去，两枚骰子点数之和为4的概率是多少

表示：

如果用f(x)表示第一枚骰子投出x（x∈{1,2,3,4,5,6}）的概率，g(y)表示第二枚骰子投出y（y∈{1,2,3,4,5,6}）的概率

结果：

两枚骰子点数加起来等于4的情况有： f(1)g(3)和f(2)g(2)和f(3)g(1)

那么概率为P=f(1)g(3)+f(2)g(2)+f(3)g(1)，符合卷积的定义，把他写成标准形式就是

(f×g)(4)=\sum_{m=1}^{3}f(m)g(4-m)

2.2连续卷积的例子：做馒头

问题：

如果有一家包子铺，会生产包子，但是包子会坏掉，那么一天后包子总共坏掉了多少？

表示：

假设包子生产速度是f(t)，对于包子铺一天生产的包子数量是

\int_{0}^{24}f(t)dt

假设腐败速度是g(t)，那么n个包子生产出来后，24小时会腐败个数

n * g(t)

结果：

一天后，包子总共腐败了：

\int_{0}^{24}f(t)g(24-t)dt

2.3卷积提取图像特征

卷积核和图像进行点乘（dot product), 就代表卷积核里的权重单独对相应位置的Pixel进行作用

这里我想强调一下点乘，虽说我们称为卷积，实际上是位置一一对应的点乘，不是真正意义的卷积

比如图像位置（1,1）乘以卷积核位置（1,1），仔细观察右上角你就会发现了

例如：对于一张图片

我们进行手动卷积

import cv2
import torch,torchvision
from torchvision import transforms
import matplotlib.pyplot as plt
import numpy as np
from PIL import Image
import math

path="./1.jpg"
img = Image.open(path)
transform = transforms.Compose([transforms.ToTensor()])#totensor 得到（C*H*W)
im = transform(img)

def imshow(img):
    npimg = img
    plt.imshow(np.transpose(npimg,(1,2,0))) #chw->hwc
    plt.show()

k = torch.ShortTensor([[0,-4,0],[-4,16,-4],[0,-4,0]])
stride=2 #步长
padding=0 # 补0
f = k.size(0) # 卷积核的形状
channels = im.size(0) #输入的图片的通道数
hin = im.size(1) #输入的图片的高
win = im.size(2) #输入的图片的宽
hout = math.floor((hin-f+2*padding)/stride+1) #输出的图片的高
wout = math.floor((win-f+2*padding)/stride+1) #输出的图片的宽
print("input[{},{}],output[{},{}]".format(hin,win,hout,wout))
output=[]
im = im.numpy()
k = k.numpy()
print("Waite for calculating...")
# 自定义卷积，一一对应相乘
for i in range(channels):
    lines=[]
    for j in range(hout):
        line=[]
        for n in range(wout):
            a=[[im[i][j*stride][n*stride],im[i][j*stride][n*stride+1],im[i][j*stride][n*stride+2]],[im[i][j*stride+1][n*stride],im[i][j*stride+1][n*stride+1],im[i][j*stride+1][n*stride+2]],[im[i][j*stride+2][n*stride],im[i][j*stride+2][n*stride+1],im[i][j*stride+2][n*stride+2]]]
            line.append(sum(sum(a*k)))
        lines.append(line)
    output.append(lines)

oo=np.array(output)
print(oo.shape)
imshow(oo)

提取特征效果如下：