体感游戏 | 手势识别玩飞机大战游戏(二) Python+OpenCV实现简易手势识别功能

Color Space

发布于 2021-01-08 15:12:05

2.3K0

发布于 2021-01-08 15:12:05

后面将分四篇文章来介绍实现手势识别控制飞机大战游戏的功能，它们分别是：

使用Pygame实现简易飞机大战小游戏
使用Python+OpenCV实现简单手势识别
使用OpenCV实现手势识别玩飞机大战游戏
使用TensorFlow实现手势识别玩飞机大战游戏

今天是第二部分：Python+OpenCV实现简易手势识别功能。简易的手势识别，所以功能也很简单，识别手势1~5就行，当然我们控制飞机时只需要用到最多3个手势：发射子弹、向左移动和向右移动。所以1~5够用了，当然你也可以用手势的移动方向来控制飞机的移动方向，只需要计算手势轮廓的重心位置变化即可。

手势识别的实现步骤也比较简单，分以下三个步骤：

HSV提取包含手势区域轮廓
计算轮廓多边形逼近和凸包缺陷
通过凸包缺陷距离来判断手指缝数量来计算手势

(1) HSV提取肤色轮廓，然后筛选找出手部轮廓

hsv_img=cv2.cvtColor(img,cv2.COLOR_BGR2HSV)
lower_hsv_1 = np.array([0,50,50])#颜色范围低阈值
upper_hsv_1 = np.array([20,255,255])#颜色范围高阈值
lower_hsv_2 = np.array([150,50,50])#颜色范围低阈值
upper_hsv_2 = np.array([180,255,255])#颜色范围高阈值
mask1 = cv2.inRange(hsv_img,lower_hsv_1,upper_hsv_1)
mask2 = cv2.inRange(hsv_img,lower_hsv_2,upper_hsv_2)
mask = mask1 + mask2
mask = cv2.medianBlur(mask,5)
k1=np.ones((5,5), np.uint8)
mask = cv2.dilate(mask, k1, iterations=1)
mask = cv2.erode(mask, k1, iterations=1)
mask_color = cv2.cvtColor(mask,cv2.COLOR_GRAY2BGR)
cv2.imshow("mask", mask)
#cv2.imwrite("mask.png", mask)
black_img = np.zeros(mask.shape,np.uint8)

contours,hierarchy = cv2.findContours(mask,cv2.RETR_EXTERNAL,cv2.CHAIN_APPROX_SIMPLE)
if len(contours) < 1:
    return 0, img
      
contours.sort(key = cnt_area, reverse=True)  
(x0, y0, w0, h0) = cv2.boundingRect(contours[0])
if(w0>=100 and h0>=100):
    cv2.rectangle(img,(x0,y0),(x0+w0,y0+h0),(255,0,255),2)

(2) 多边形逼近和轮廓凸包缺陷计算

epsilon = 0.01 * cv2.arcLength(contours[0], True)
approx = cv2.approxPolyDP(contours[0],epsilon,True)
cv2.drawContours(black_img,[approx],-1,(255,0,255),2)

contours2,hierarchy2 = cv2.findContours(black_img,cv2.RETR_EXTERNAL,cv2.CHAIN_APPROX_SIMPLE)
if len(contours) < 1:
  return 0, img
hull = cv2.convexHull(contours2[0],returnPoints=False)
defects = cv2.convexityDefects(contours2[0],hull)

(3) 凸包缺陷距离筛选来计算手势数字

if d >= 13000:
      cv2.line(img,start,end,[0,255,0],3)#凸包
      cv2.circle(img,start,10,[0,255,255],3)
      cv2.circle(img,end,10,[0,255,255],3)
      cv2.circle(img,far,10,[0,0,255],3)#凸包缺陷点
      pre_start = start
      pre_end = end
      pointNum += 1
        
cv2.putText(img,'hand-%d'%pointNum,(10,35),font,1.2,(0,255,255),3)       
return pointNum, img