OpenCV：目标跟踪。
目标跟踪指的是对视频中的移动目标进行定位的过程。
在如今AI行业有着很多应用场景，比如监控，辅助驾驶等。
对于如何实现视频的目标跟踪，也有着许多方法。
比如跟踪所有移动目标时，视频每帧之间的变化就显得很有用。
如若视频背景不变，即可利用背景变化实现目标跟踪。
还有之前我们实现过的「跳一跳」小游戏。
其中的模板匹配，也是一种目标跟踪方法，能够很好的跟踪到小跳人的位置。
接下来看一下一些简单的目标跟踪案例。
/ 01 / 帧之间差异
下面就通过计算视频帧之间的差异(即考虑背景帧和其他帧之间的差异)，进而实现目标跟踪。
具体代码如下。
import cv2
# 获取视频
video = cv2.VideoCapture('007.mp4')
# 生成椭圆结构元素
es = cv2.getStructuringElement(cv2.MORPH_ELLIPSE, (9, 4))
# 设置背景帧
background = None
while True:
# 读取视频每一帧
ret, frame = video.read()
# 获取背景帧
if background is None:
# 将视频的第一帧图像转为灰度图
background = cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY)
# 对灰度图进行高斯模糊,平滑图像
background = cv2.GaussianBlur(background, (21, 21), 0)
continue
# 将视频的每一帧图像转为灰度图
gray_frame = cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY)
# 对灰度图进行高斯模糊,平滑图像
gray_frame = cv2.GaussianBlur(gray_frame, (21, 21), 0)
# 获取当前帧与背景帧之间的图像差异,得到差分图
diff = cv2.absdiff(background, gray_frame)
# 利用像素点值进行阈值分割,得到一副黑白图像
diff = cv2.threshold(diff, 25, 255, cv2.THRESH_BINARY)[1]
# 膨胀图像,减少错误
diff = cv2.dilate(diff, es, iterations=2)
# 得到图像中的目标轮廓
image, cnts, hierarchy = cv2.findContours(diff.copy(), cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE)
for c in cnts:
if cv2.contourArea(c) < 1500:
continue
# 绘制目标矩形框
(x, y, w, h) = cv2.boundingRect(c)
cv2.rectangle(frame, (x+2, y+2), (x+w, y+h), (0, 255, 0), 2)
# 显示检测视频
cv2.namedWindow('contours', 0)
cv2.resizeWindow('contours', 600, 400)
cv2.imshow('contours', frame)
# 显示差异视频
cv2.namedWindow('diff', 0)
cv2.resizeWindow('diff', 600, 400)
cv2.imshow('diff', diff)
if cv2.waitKey(1) & 0xff == ord('q'):
break
# 结束
cv2.destroyAllWindows()
video.release()得到的视频结果如下。
就这个视频来看，效果还不错。
每次的变化都跟踪出来了。
不过这种方法还是存在缺陷的，因为真正的应用场景下，视频背景不可能那么完美。
必然会受到环境的影响，比如光照的变化。
这将极大影响视频的背景。
/ 02 / 背景分割器
OpenCV提供一个BackgroundSubtractor的类，可以用于分割视频的前景和背景。
还可以通过机器学习提高背景检测的效果。
有三种背景分割器，分别是KNN，MOG2，GMG，通过相应的算法计算背景分割。
BackgroundSubtractor类可以对不同帧进行比较，并存储以前的帧，可按时间推移来提高运动分析的结果。
还能计算阴影，通过检测阴影，排除检测图像的阴影区域。
下面通过一个实例来演示一下，代码如下。
import cv2
# 获取视频
video = cv2.VideoCapture('traffic.flv')
# KNN背景分割器,设置阴影检测
bs = cv2.createBackgroundSubtractorKNN(detectShadows=True)
while True:
# 读取视频每一帧
ret, frame = video.read()
# 计算视频的前景掩码
fgmask = bs.apply(frame)
# 图像阈值化
th = cv2.threshold(fgmask.copy(), 244, 255, cv2.THRESH_BINARY)[1]
# 膨胀图像,减少错误
dilated = cv2.dilate(th, cv2.getStructuringElement(cv2.MORPH_ELLIPSE, (3, 3)), iterations=2)
# 得到图像中的目标轮廓
image, contours, hier = cv2.findContours(dilated, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE)
for c in contours:
if cv2.contourArea(c) > 1600:
# 绘制目标矩形框
(x, y, w, h) = cv2.boundingRect(c)
cv2.rectangle(frame, (x, y), (x+w, y+h), (255, 255, 0), 2)
# 显示差异视频
cv2.imshow('mog', fgmask)
# cv2.imshow('thresh', th)
# 显示检测视频
cv2.imshow('detection', frame)
if cv2.waitKey(30) & 0xff == ord('q'):
break
video.release()
cv2.destroyAllWindows()得到结果如下。
效果也还不错。
/ 03 / 总结
相关视频及代码已上传网盘，公众号回复「目标跟踪」即可获取。
对于目标跟踪，还有很多方法，比如均值漂移、CAMShift、卡尔曼滤波器等。
本次就先马克这些，其余的以后慢慢了解~
万水千山总是情，点个「在看」行不行。
··· END ···
本文参与 腾讯云自媒体分享计划，分享自微信公众号。
原始发表：2019-07-12，如有侵权请联系 cloudcommunity@tencent.com 删除
评论
登录后参与评论
推荐阅读