Photo from BoredPanda
美颜是当下直播甚至是所有形式对外展示的一个必备条件。手机端的美颜就像私人化妆师,能够帮助我们实现各种心仪的效果。
而大型娱乐节目一般都是提前进行录制,然后进行后期制作,在视频质量和美颜方向也会在后期也会进行诸多的处理。但对于实时直播的节目和晚会,没有后期制作的存在。这种大型娱乐现场(和手机端前的直播相比)的场景非常复杂,灯光、背景、机位、多人等都对传统的基于人脸检测和跟踪的美颜提出了巨大挑战。
上图是美颜后
陌陌的“陌陌巡乐会”、“陌陌运动会”、“陌陌年终盛典”等直播活动就是融线上直播和线下明星于一体的大型现场娱乐直播。
一个典型的美颜流程是这样的:模型检测跟踪人脸、获取人脸的信息、根据信息对人脸进行精准美颜。而在大型娱乐现场,多人随意运动、机位拉近拉远,很容易导致上述流程失灵,并造成一些明显的负面效果。
与此同时,类似这样的大型现场没有美颜效果,也是艺人和主办方难以承受的。举个例子,演出者在舞台上表演时,很容易就会满头大汗或者出现脱妆等情况,一些主播因为失去美颜的加持,和手机端直播产生了一些观感差异,不仅不利于主播个人形象的维持,也导致用户的观感大打折扣。
因此,大型现场直播没有美颜的问题是非常突出的。只是因为相比手机端的直播来说,其频次较低、不是主流的展现形式,所以在较长一段时间内,相关技术的进展也比较小。
针对上述问题,我们结合转码和美颜,推出了基于深度学习的大型现场实时美颜。
基于服务端的转码系统
大型现场是一个典型的只有一个“主播”的系统,所有的观众观看的都是同一个视频源。
我们在服务端对直播流进行一个实时的美颜和转码,利用很少的资源和成本解决了无美颜的问题。同时,相对客户端来说,服务端视频处理的资源是非常充裕的,可以允许一些较复杂和较大的算法运行。
比如我们在服务端搭建了一套完整的基于GPU的转码处理系统。对于秀场直播能够实现码率降低40%,画质MOS分仍比原画要好。还有目前的AI换脸,例如“ZAO”,基本也都是运行在服务端上面。
我们所说的美颜
宽泛来讲,美颜涵盖了相当大的范围。包括我们经常用到的拍照时的美白、祛痘、大眼、瘦脸等以及各种滤镜(一般所述美颜),以及最近很火的各种换妆、换脸。后者是新兴区域,大家有时也以AI智能美颜来泛指。
美颜核心都是以人为本。在手机端常见的美颜流程,需要检测人脸、跟踪人脸、获取人脸关键点以及进行各种变形处理。人脸的检测和跟踪,基本以深度学习为主,变形处理还是以传统算法为主。换妆和换脸也是运行在人脸检测和跟踪的基础上,以深度学习实现换妆和换脸。
我们所述的大型现场美颜,和一般所述美颜效果相对应,主要是场景的不一致、以及场景的复杂性导致原来的美颜流程和算法不能够适配。
关于大型现场美颜
关注度越高的直播对于负面效果的要求越高,也就是说,对于大型现场,美颜系统不能带来负面效果。
基于人脸检测和跟踪的美颜,其优点集中在能够非常精准,从五官到眼皮、嘴唇等细节的调整和美化。
在舞台中各种位姿都可能的情况下,要做到和手机面前的主播一样的跟踪,是十分困难的。另一方面,在直播现场,对于观感具有主要作用的,我们认为是在一些基础的美化,例如祛痘、磨皮、去汗、美白等。
我们尝试了基于传统算法的美颜,这也是目前业界解决这个问题比较通用的方法。但对于传统算法来说,有一个比较严重的问题,如果我们无法跟踪人脸,那么只能针对整图来进行美化。
美化的度非常难以把握。拿美白举例,对于近景,人脸比较大,轻微的美白不足以给观众一个阶越的观感改变,调大度之后对于整体的色调都会有一定的影响,负面效果逐渐展现。所以一般的做法是,多轮调优,选择一个负面效果可接受的美颜算法。
传统算法美颜效果,左图为美颜后
整体来说,调整后的传统算法,有一定程度的美化作用,但是因为度很轻,上线后我们进行了一轮评测,表明负面效果是没有的,但是有一定比例看不出美颜效果。
美颜效果的评测
视频质量评测一直是一个在持续研究的方向。美颜效果和视频质量不能直接画等号。应该说视频质量宽泛一点可以包括美颜效果,反之则不行。基于主观评测的方法仍然是视频质量评测的基准。我们针对视频质量也开发了一套打分系统来配合主观评测。目前,复杂现场的美颜效果,仍然是以主观评测为主。
基于深度学习的美颜系统
传统算法基础上,我们加入了深度学习模型来学习上述美颜效果。经过反复的迭代和实验验证,我们的深度学习算法大幅超过美颜算法表现。具体体现在深度学习模型能够明显区分美化区域和背景区域,美化区域效果对比显著,背景区域基本无改变。在经过几轮灰度测试和主观评测后,我们的系统目前全部覆盖了陌陌的大型现场活动。
上图是美颜后
复杂现场的美颜是一个较小的应用领域,随着发展,我们相信实时的云演出也会越来越多。美好的效果会进一步提升用户感受,实时和观众进行互动,节省了后期的滞后流程和费用。出于演出效果和经济效应的考虑,给观众从美观上一个提升是非常有必要的。
更广阔的讲,追求美是人的天性,我们相信上述的各种美颜形式都会跟随通信、介质、媒体形式等的发展而快速发展。
编辑:Coco Liang
本文分享自 LiveVideoStack 微信公众号,前往查看
如有侵权,请联系 cloudcommunity@tencent.com 删除。
本文参与 腾讯云自媒体同步曝光计划 ,欢迎热爱写作的你一起参与!