研究人员利用深度学习实时生成完整的3D头发模型

AiTechYun

编辑：chux

南加州大学，Pinscreen和微软的研究人员开发了一种基于深度学习的方法，可以从单视图图像中实时生成完整的3D头发几何图形。该团队表示，这是第一个能够实时渲染头发的深度学习项目。

“现实的头发造型是数字化虚拟人类时最困难的任务之一，”研究人员说。“与易于参数化的物体（如人脸）形成鲜明对比的是，头发会有各种各样的形状变化，并且由于其体积结构和每条线的可变形程度，因此可能非常复杂。”

使用带有cuDNN加速 PyTorch深度学习框架的NVIDIA TITAN Xp GPU，研究人员将他们的卷积神经网络在一个由4万多种不同发型组成的数据集，以及16万个随机视图渲染的相应2D方向图像上训练。

神经网络管道包含三个步骤，预处理，发束生成和重建。

研究人员说，“首先采用预加工步骤，根据自动估计的头发掩模，计算出发区的二维方位场。然后，发网将2D定向字段作为输入，并生成以3D点序列表示的头发链。最后，重建可以有效地生成平滑而浓密的头发模型。”

“与旨在实现相同目标的类似系统相比，该方法可提供更多细节和更完美的结果。我们的方法可以保留更好的局部细节，看起来更自然，尤其是卷发。”

该方法可以处理不同的发型，包括卷发，直发，波浪形和非常卷曲的头发。但是，团队也承认他们的方法并不完美。

该团队表示，“我们发现我们的方法无法产生异国情调的发型，如古怪的爆炸头。我们认为主要原因是我们的训练数据库中没有这样的发型。构建一个涵盖更多变化的大型头发数据集可以缓解这个问题。”

在未来的工作中，研究人员表示他们将专注于扩大他们的头发类型的数据集。