学界 | 教你一个简单的深度学习方法检测人脸面部特征

AI 科技评论按:你可能在一些手机软件上已经看到了给人脸增加特效的app,它们将一些可爱有趣的物体添加到自拍视频中,有些更有趣的还能检测表情自动选择相应的物体。这篇文章将会科普一种使用深度学习进行人脸表情检测的方法,并简要介绍下传统的检测方法。

在过去,检测面部及其特征,包括眼睛、鼻子、嘴巴,甚至从它们的形状中提取表情是非常困难的,而现在,这项任务可以通过深度学习“神奇”地得到解决,任何一个聪明的年轻人都可以在几个小时内完成。AI 科技评论编译的这篇来自佐治亚理工大学学生 Peter Skvarenina 的文章将介绍这一实现方法。

“传统”的方法(CLM)

假设你和我一样,现在需要进行人脸追踪(在这篇文章的情况下,是指将一个人的面部动作通过网络摄像头同步到一个动画人物上去),你可能会发现,以前实现这个任务最好的算法是局部约束模型(CLM),基于Cambridge Face Tracker或者OpenFace。这种方法是将检测的任务进行分解,分成检测形状向量特征(ASM)、布丁图像模板(AAM)和使用预先训练的线性SVM进行检测优化这几个步骤逐一处理。

首先对关键点进行粗略估计,然后使用含有部分人脸信息的预训练的图像进行SVM处理,同时对关键点的位置进行校正。重复这个过程多次,直到其产生的误差低于我们的要求。另外,值得一提的是,这一方法假定了图像上的人脸位置已经被估计,如使用Viola-Jones检测器(Haar级联)。但是,这种方法非常复杂并不是高中级别的学生可以轻易实现的,整体架构如下:

深度学习(Deep Learning)

为了实现文中一开始提到的,使得青少年可以进行人脸检测的目标,我们向大家介绍深度学习的方法。在这里,我们将会使用一种非常简单的卷积神经网络(CNN,convolutional neural network)并在一些含有人脸的图像上进行人脸重要部位的检测。为此,我们首先需要一个训练的数据库,这边我们可以使用Kaggle提供的人脸部位识别挑战赛的数据库,包含15个关键点;或者一个更复杂些的数据库MUCT,它有76个关键点(超棒的!)。

很显然的,有质量的图像训练数据库是必不可少的,这里,我们向“可怜的”本科学生致敬,他们为了毕业“牺牲”了自己的时间和精力对这些图像进行了标注,从而使得我们可以进行这些有趣的实验。

如下是基于Kaggle数据库的巴洛克面部和关键点的样子:

这个数据库是由灰度96*96分辨率的图像组成的,并且有15个关键点,分别包含两个眼睛各5个点、鼻子嘴巴共5个点。

对于任何一个图像来说,我们首先要对脸部进行定位,即使用上文提到的Viola-Jones检测器并基于Haar级联架构(如果说你仔细看看这一实现过程,会发现它与CNN的概念相近)。如果你想更近一步,也可以使用全卷积网络(FCN,Fully Convolutional Network)并使用深度预测进行图像分割。

不管你使用什么方法,这对OpenCV来说都很简单:

Grayscale_image = cv2.cvtColor(image, cv2.COLOR_RGB2GRAY) face_cascade = cv2.CascadeClassifier(‘haarcascade_frontalface_default.xml’ ) bounding_boxes = face_cascade.detectMultiScale(grayscale_image, 1.25, 6)

使用如上的几行代码,可将图像中的人脸框出来。

然后,对每一个返回的人脸框,我们提取其中相应的子图像,将它们调整到灰度图像并将尺寸转换为96*96。新产生的图像数据则成为了我们完成的CNN网络的输入。CNN的架构采用最通用的,5*5的卷积层(实际上是3个layer,每层分别是24、36和48个ReLU),然后用2个3*3的卷积层(每个有64个ReLU),最后使用3个全连接层(包含500、90和30个单元)。同时使用Max Pooling来避免过拟合并使用global average pooling来减少平滑参数的数量。这一架构的最终输出结果是30个浮点数,这对应着15个关键点每个的想x,y坐标值。

如下是Keras的实现过程:

model = Sequential() model.add(BatchNormalization(input_shape=(96, 96, 1))) model.add(Convolution2D(24, 5, 5, border_mode=”same”, init=’he_normal’, input_shape=(96, 96, 1), dim_ordering=”tf”)) model.add(Activation(“relu”)) model.add(MaxPooling2D(pool_size=(2, 2), strides=(2, 2), border_mode=”valid”)) model.add(Convolution2D(36, 5, 5)) model.add(Activation(“relu”)) model.add(MaxPooling2D(pool_size=(2, 2), strides=(2, 2), border_mode=”valid”)) model.add(Convolution2D(48, 5, 5)) model.add(Activation(“relu”)) model.add(MaxPooling2D(pool_size=(2, 2), strides=(2, 2), border_mode=”valid”)) model.add(Convolution2D(64, 3, 3)) model.add(Activation(“relu”)) model.add(MaxPooling2D(pool_size=(2, 2), strides=(2, 2), border_mode=”valid”)) model.add(Convolution2D(64, 3, 3)) model.add(Activation(“relu”)) model.add(GlobalAveragePooling2D()); model.add(Dense(500, activation=”relu”)) model.add(Dense(90, activation=”relu”)) model.add(Dense(30))

你可能想选择均方根传播(rmsprop)优化和均方误差(MSE)作为损失函数和精度指标。只需要在输入图像上使用批处理正常化和全局平均遍历(global average polling)和HE normal weight初始化,你就可以在30个训练周期内获得80%-90%的验证准确率并实现<0.001的误差:

model.compile(optimizer=’rmsprop’, loss=’mse’, metrics= [‘accuracy’]) checkpointer = ModelCheckpoint(filepath=’face_model.h5', verbose=1, save_best_only=True) epochs = 30 hist = model.fit(X_train, y_train, validation_split=0.2, shuffle=True, epochs=epochs, batch_size=20, callbacks= [checkpointer], verbose=1)

简单的执行如下指令对关键点位置进行预测:

features = model.predict(region, batch_size=1)

好了!现在你已经学会了怎么去检测面部关键点了!

提醒一下,你的预测结果是15对(x,y)坐标值,可在如下图像中表现出来:

如果上述的操作还不能满足你的需求,你还可以进行如下步骤:

  • 实验如何在保持精度和提高推理速度的同时减少卷积层和滤波器的数量;
  • 使用迁移学习来替代卷积的部分(Xception是我的最爱)
  • 使用一个更详细的数据库
  • 做一些高级的图像增强来提高鲁棒性

你可能依然觉得太简单了,那么推荐你学习去做一些3D的处理,你可以参考Facebook和NVIDIA是怎么进行人脸识别和追踪的。

另外,你可以用已经学到的这些进行一些新奇的事情(你可能一直想做但不知道怎么实现):

  • 在视频聊天时,把一些好玩的图片放置在人脸面部上,比如:墨镜,搞笑的帽子和胡子等;
  • 交换面孔,包括你和朋友的脸,动物和物体等;
  • 在自拍实时视频中用一些新发型、珠宝和化妆进行产品测试;
  • 检测你的员工是因为喝酒无法胜任一些任务;
  • 从人们的反馈表情中提取当下流行的表情;
  • 使用对抗网络(GANs)来进行实时的人脸-卡通变换,并使用网络实现实时人脸和卡通动画表情的同步。

好了~你现在已经学会了怎么制作你自己的视频聊天滤镜了,快去制作一个有趣的吧!

via Data Science @ Medium,AI 科技评论编译。

原文发布于微信公众号 - AI科技评论(aitechtalk)

原文发表时间:2017-09-03

本文参与腾讯云自媒体分享计划,欢迎正在阅读的你也加入,一起分享。

发表于

我来说两句

0 条评论
登录 后参与评论

相关文章

来自专栏杨熹的专栏

特征工程怎么做

在工业应用中,feature 比算法重要,数据比 feature 重要,有很多 kaggle 参赛者分享经验时也是说 feature engineering 很...

3243
来自专栏汪毅雄的专栏

机器学习之数据清洗与特征提取

本文详细的解释了机器学习中,经常会用到数据清洗与特征提取的方法PCA,从理论、数据、代码三个层次予以分析。

6.4K5
来自专栏机器之心

想入门设计卷积神经网络?这是一份综合设计指南

1564
来自专栏计算机视觉战队

一文读懂监督学习、无监督学习、半监督学习、强化学习这四种深度学习方式

一般说来,训练深度学习网络的方式主要有四种:监督、无监督、半监督和强化学习。在接下来的文章中,计算机视觉战队将逐个解释这些方法背后所蕴含的理论知识。除此之外,计...

2756
来自专栏机器之心

南京大学周志华教授综述论文:弱监督学习

38112
来自专栏量子位

GANs很难?这篇文章教你50行代码搞定(PyTorch)

作者:Dev Nag,Wavefront创始人、CTO,曾是Google、PayPal工程师。量子位编译。 2014年,Ian Goodfellow和他在蒙特利...

3305
来自专栏人人都是极客

1.训练模型之准备工作

经常关注我公众号的读者应该还记得之前写了5课关于嵌入式人工智能的文章,可以点击这里查看(文章末尾有前4节课时的推荐),前5节课时都在讲一个主题,即如何识别物体。...

3579
来自专栏人工智能

神经网络,流形和拓扑

为了使我们能够更深入地了解神经网络的行为,我们可以将神经网络与数学的拓扑结构关联起来进行研究。

6319
来自专栏Pytorch实践

Pytorch实现skip-gram模型训练word2vec

对于词语的表示,最开始采用one-hot编码,用于判断文本中是否具有该词语;后来发展使用Bag-of-Words,使用词频信息对词语进行表示;再后来使用TF-I...

4066
来自专栏机器之心

IJCAI 2018 | 海康威视Oral论文:分层式共现网络,实现更好的动作识别和检测

选自arXiv 作者:Chao Li等 机器之心编译 参与:Panda 动作识别和检测正得到计算机视觉领域越来越多的关注。近日,海康威视在 arXiv 发布了在...

3426

扫码关注云+社区