体感游戏 | 手势识别玩飞机大战游戏(三) 使用OpenCV实现手势识别玩飞机大战游戏

Color Space

发布于 2021-01-22 10:24:36

1.6K0

发布于 2021-01-22 10:24:36

后面将分四篇文章来介绍实现手势识别控制飞机大战游戏的功能，它们分别是：

使用Pygame实现简易飞机大战小游戏
使用Python+OpenCV实现简单手势识别
使用OpenCV实现手势识别玩飞机大战游戏
使用TensorFlow实现手势识别玩飞机大战游戏

今天是第三部分：使用OpenCV实现手势识别玩飞机大战游戏的功能。前面的两篇文章我们已经介绍了使用Pygame实现一个简易的飞机大战游戏以及使用Python+OpenCV实现简单手势识别。那么，实现手势识别来玩飞机大战游戏就是把它们两部分组合起来，听起来很简单，让我们一起实现它吧。

第一步：先学会Windows下模拟按键按下的响应。

Python中我们使用pypiwin32这个包，需要先安装pip install pypiwin32，然后导入使用：

import win32con
import win32api
import time
#第一个参数，键盘对应数字，查表
#第二个，第四个没用
#第三个参数，0代表按下，win32con.KEYEVENTF_KEYUP松开
while True:
    #win32api.keybd_event(37, 0, 0, 0)  # 键盘按下左键 37 <-
    #time.sleep(0.5)        
    #win32api.keybd_event(37, 0, win32con.KEYEVEddddddddNTF_KEYUP, 0)  # 键盘松开

    
    win32api.keybd_event(38, 0, 0, 0)  #38对应上键
    time.sleep(0.3)
    win32api.keybd_event(38, 0, win32con.KEYEVENTF_KEYUP, 0)  # 键盘松开
    
    #win32api.keybd_event(39, 0, 0, 0)  # 键盘按下右键 39 ->
    #time.sleep(0.1)
    #win32api.keybd_event(39, 0, win32con.KEYEVENTF_KEYUP, 0)  # 键盘松开

不同按键对应什么数字，查看一下VKCode即可(如下)

VK_CODE = {
  'backspace':0x08,
  'tab':0x09,
  'clear':0x0C,
  'enter':0x0D,
  'shift':0x10,
  'ctrl':0x11,
  'alt':0x12,
  'pause':0x13,
  'caps_lock':0x14,
  'esc':0x1B,
  'spacebar':0x20,
  'page_up':0x21,
  'page_down':0x22,
  'end':0x23,
  'home':0x24,
  'left_arrow':0x25,
  'up_arrow':0x26,
  'right_arrow':0x27,
  'down_arrow':0x28,
  'select':0x29,
  'print':0x2A,
  'execute':0x2B,
  'print_screen':0x2C,
  'ins':0x2D,
  'del':0x2E,
  'help':0x2F,
  '0':0x30,
  '1':0x31,
  '2':0x32,
  '3':0x33,
  '4':0x34,
  '5':0x35,
  '6':0x36,
  '7':0x37,
  '8':0x38,
  '9':0x39,
  'a':0x41,
  'b':0x42,
  'c':0x43,
  'd':0x44,
  'e':0x45,
  'f':0x46,
  'g':0x47,
  'h':0x48,
  'i':0x49,
  'j':0x4A,
  'k':0x4B,
  'l':0x4C,
  'm':0x4D,
  'n':0x4E,
  'o':0x4F,
  'p':0x50,
  'q':0x51,
  'r':0x52,
  's':0x53,
  't':0x54,
  'u':0x55,
  'v':0x56,
  'w':0x57,
  'x':0x58,
  'y':0x59,
  'z':0x5A,
  'numpad_0':0x60,
  'numpad_1':0x61,
  'numpad_2':0x62,
  'numpad_3':0x63,
  'numpad_4':0x64,
  'numpad_5':0x65,
  'numpad_6':0x66,
  'numpad_7':0x67,
  'numpad_8':0x68,
  'numpad_9':0x69,
  'multiply_key':0x6A,
  'add_key':0x6B,
  'separator_key':0x6C,
  'subtract_key':0x6D,
  'decimal_key':0x6E,
  'divide_key':0x6F,
  'F1':0x70,
  'F2':0x71,
  'F3':0x72,
  'F4':0x73,
  'F5':0x74,
  'F6':0x75,
  'F7':0x76,
  'F8':0x77,
  'F9':0x78,
  'F10':0x79,
  'F11':0x7A,
  'F12':0x7B,
  'F13':0x7C,
  'F14':0x7D,
  'F15':0x7E,
  'F16':0x7F,
  'F17':0x80,
  'F18':0x81,
  'F19':0x82,
  'F20':0x83,
  'F21':0x84,
  'F22':0x85,
  'F23':0x86,
  'F24':0x87,
  'num_lock':0x90,
  'scroll_lock':0x91,
  'left_shift':0xA0,
  'right_shift ':0xA1,
  'left_control':0xA2,
  'right_control':0xA3,
  'left_menu':0xA4,
  'right_menu':0xA5,
  'browser_back':0xA6,
  'browser_forward':0xA7,
  'browser_refresh':0xA8,
  'browser_stop':0xA9,
  'browser_search':0xAA,
  'browser_favorites':0xAB,
  'browser_start_and_home':0xAC,
  'volume_mute':0xAD,
  'volume_Down':0xAE,
  'volume_up':0xAF,
  'next_track':0xB0,
  'previous_track':0xB1,
  'stop_media':0xB2,
  'play/pause_media':0xB3,
  'start_mail':0xB4,
  'select_media':0xB5,
  'start_application_1':0xB6,
  'start_application_2':0xB7,
  'attn_key':0xF6,
  'crsel_key':0xF7,
  'exsel_key':0xF8,
  'play_key':0xFA,
  'zoom_key':0xFB,
  'clear_key':0xFE,
  '+':0xBB,
  ',':0xBC,
  '-':0xBD,
  '.':0xBE,
  '/':0xBF,
  '`':0xC0,
  ';':0xBA,
  '[':0xDB,
  '\\':0xDC,
  ']':0xDD,
  "'":0xDE,
  '`':0xC0}

第二步：将虚拟按键响应代码加入手势识别代码中。

这里将上面的代码整理为函数使用(最好是分装成线程类方便调用)：

class KeyEvent(threading.Thread):
    def __init__(self, caller):
        threading.Thread.__init__(self)
        self.caller = caller #父类调用者
        
        
    def action(self,num):
        if num == 2:
          self.move_left_key()
        elif num == 3:
          self.move_right_key()
        elif num == 4:
          self.shooting_key()
          
    def shooting_key(self):
      win32api.keybd_event(38, 0, 0, 0)  # 键盘按下上键 38上键
      time.sleep(0.1)
      win32api.keybd_event(38, 0, win32con.KEYEVENTF_KEYUP, 0)

    def move_left_key(self):
      win32api.keybd_event(37, 0, 0, 0)  # 键盘按下左键 37左键
      time.sleep(0.1)
      win32api.keybd_event(37, 0, win32con.KEYEVENTF_KEYUP, 0)

    def move_right_key(self):
      win32api.keybd_event(39, 0, 0, 0)  # 键盘按下下键 39下键
      time.sleep(0.1)
      win32api.keybd_event(39, 0, win32con.KEYEVENTF_KEYUP, 0)
        
    def run(self): #线程启动后自动调用此函数
        while True:
          if self.caller.exitFlag:
              break
          action()

在手势识别后加入手势数字判断然后开启虚拟按键线程：

def show_camera(self):
        flag, self.img = self.cap.read()
        if self.img is not None:
            num,img = self.Gesture_Recognize(self.img)
            self.refreshShow(img)
            self.Key=KeyEvent(self)#开启测试线程
            self.Key.setDaemon(True)
            self.Key.action(num)

第三步：运行测试。

我们设定手势2对应按键左移<-，手势3对应按键右移->，手势4对应发射炮弹。先打开并运行pygame游戏界面，然后运行手势识别程序，将鼠标点击到游戏界面窗口，然后通过手势识别控制飞机行动，效果如下：