TensorFlow.js人脸识别—玩转吃豆豆小游戏

谷歌TenosrFlow开发者峰会2018上,发布了面向JavaScript开发者的全新机器学习框架 TensorFlow.js。这里介绍一个TensorFlow.js的Demo,只需要一个网络摄像头和浏览器,即可以训练MobileNet网络,实现利用人脸识别玩转吃豆豆小游戏。

PS:强烈建议以1080p观看视频,本人头像没有打码,还请见谅

文字教程

1 进入TensorFlow.JS官网

链接:https://js.tensorflow.org/

2 点击吃豆豆Demo(WEBCAM CONTROLLER)

向下浏览TensorFlow.JS网页,找到WEBCAM CONTROLLER[2],点击GO TO DEMO!,进入吃豆豆小游戏

3 吃豆豆Demo功能区介绍

功能区0:当前网络摄像机实时捕捉画面

功能区1:训练集采集区

1.1:向上移动

1.2:向下移动

1.3:向左移动

1.4:向右移动

注:因为吃豆豆的对象只有四种移动方式(上下左右),在深度学习中,这是一个多分类的问题,即训练集中需要包括这四种类别的图像。

功能区2:超参数设置

功能区3:训练模型按钮

功能区4:测试/开始游戏按钮

功能区5:游戏主界面

4 制作训练集

由上述分析可知,这是一个四分类问题。我们通过对功能区0和功能区1操作来制作训练集。

首先,我们定义“人脸向上”为向上移动吃豆豆对象的指令。同理,“人脸向下”、“人脸向左”和“人脸向右”分别是向下、向左和向右移动吃豆豆对象的指令。

同理,制作“人脸向左”的数据集

同理,制作“人脸向右”的数据集

同理,制作“人脸向下”的数据集

哈哈,大功告成

5 训练模型

训练集制作完成后,想要训练模型,此时还需要一个网络。这里默认使用MobileNet网络[3]。想要了解该网络的童鞋,可以自行查看该论文和TensorFlow上的代码。

训练集和网络都有了,可以直接训练了吗?或者此时还要做些什么吗?!

答:可做可不做。因为超参数默认已经设定好了,你可以直接使用默认值,也可以调节超参数。

此时,可以直接点击TRAIN MODEL,开始训练模型

耐心等待不到1分钟,当看到LOSS值已经不再变化时,标志当前模型已经训练完成。结果如下所示:

6 开始游戏

点击PLAY,开始吃豆豆小游戏,此时可以看到画面中出现“READY”,即表示游戏开始。你可以通过向上/向下/向左/向右偏移人脸来控制吃豆豆对象的移动方式。

通过若干次移动后,我终于吃到了豆豆

关于TensorFlow.js的吃豆豆小游戏就介绍到这里,虽然示例很简单,但意义很深远。可见深度学习的应用会更加广泛,更加实用,更加贴近大众的生活。

参考

[1]TensorFlow.JS:https://js.tensorflow.org/

[2]TensorFlow.JS WEBCAM CONTROLLER:https://storage.googleapis.com/tfjs-examples/webcam-transfer-learning/dist/index.html

[3]MobileNet:https://arxiv.org/abs/1704.04861

-------我是可爱的分割线-------

  • 发表于:
  • 原文链接http://kuaibao.qq.com/s/20180401G0RCS600?refer=cp_1026
  • 腾讯「云+社区」是腾讯内容开放平台帐号(企鹅号)传播渠道之一,根据《腾讯内容开放平台服务协议》转载发布内容。

扫码关注云+社区

领取腾讯云代金券