Meta发布AI开源大作，将涂鸦变成动画

作者 | 王瑞平

审校 | 云昭

最近出现的人工智能产品五花八门、功能各异，从文本输出到绘画、视频、音频。这些人工智能工具将艺术创作变得形象生动，展现出用AI描绘的另一个世界。

绘画作为一种熟悉而有趣的表达方式，能够将生活变得色彩斑斓。在创作绘画的同时，我们同样希望将讨人喜欢的静态角色变成动画，使其能够在书页上“走动”，甚至还有书籍和电视剧讲述了这种幻想。

不幸的是，实现这样的效果相当困难！通过创建图形产生运动错觉(如，翻页书)呈现出的效果往往很乏味，新用户使用现有的动画工具又很困难。因此，许多绘画角色仍在纸面上保持静态。

前不久，Meta团队脑洞大开，运用人工智能技术成功将手绘涂鸦变成了栩栩如生的动画。

这款开源AI动画绘图工具（Animated Drawings）是由Meta AI基础人工智能研究团队（FAIR）发布的。该工具用AI技术轻松让各种人物涂鸦变成动画，旨在帮助创作者和开发人员轻松将绘图变成动画产品。

据悉，该项目始于2021年。当时，FAIR的研究人员旨在将计算机视觉变得更直观，将绘画中的人物形象动画化。

让AI模型读懂绘画

普通人能够轻松看懂绘画，但这对于AI模型来讲却没那么容易。

为了让AI模型能够“读懂”绘画，FAIR的研究者首先运用目标检测模型、姿势估计模型和基于图像处理的分割方法快速创建数字版本的绘画。然后，他们使用传统的计算机绘图技术将这些数字版本的绘画变形和动画化。

但是，这种方法具有一定的缺陷，即很难获得训练计算机视觉模型所需规模的人物画集。并且，这些画集还需要被标注好边界框、分割掩码、关节位置等信息，根本不存在这样的数据集！

另一种让AI模型“读懂”绘画的方法是综合创建绘图。这种方法也存在问题，即，生成方法需要大量样本数据来学习、风格迁移方法无法捕捉到绘图与照片的所有细微差别，而且可能做不出像纸张折痕、擦除的线条、强光和阴影等实际绘图中呈现出的变化。

为此，FAIR团队将单张图形生成动画的任务构建为人体图形检测、分割、姿势估计和动画等一系列子任务，并创建出动画绘图演示功能。该功能以公众可访问的网站形态呈现，创作者可在浏览器上公开访问这个动画绘图演示网站，还可以上传他们的绘图，查看或修正一些模型预测，并在不到1分钟的时间内接受到用绘图中的角色创建出的动画。

用户：期待更全面的AI绘图工具

作为接下来的流程之一，用户可以自由选择允许或不允许Meta保留图像和注释，无论用户作何选择都不会影响该工具未来的使用。研究人员希望通过该功能最终收集到1万张图纸，用来提升模型的功能。

用户对此表现的非常积极。他们在最初的几个月里就上传并同意使用超过160万张图片。而且很多上传的图片根本不是业余画作，而是公司徽标、毛绒玩具、动漫人物、宠物、可动人偶以及人们想要制作动画的各种其他事物的图片。

虽然在演示功能的说明中指定需要呈现出人物形象，但用户还是上传了四足动物、鸟、鱼等其它形象。他们还在社交媒体帖子和演示中的Bug报告中表达，希望获得具有更全面功能的工具。这些功能包括：透明背景、支持不同的骨骼类型、多个交互角色、音效、背景风景和文本叠加等。

感受到大家将绘图变成动画的热情后，Meta决定将动画绘图演示功能使用的模型和代码的开源版本发布出来，激励更多开发者尝试和体验。

将手绘人物变成动画

如果用户需要将创作出的人物绘画角色变成动画，可以在浏览器登陆Animated Drawings网站。

上传绘图后，用户可以选择调整检测到的边界框、分割蒙版和关节位置，并选择一个动作制作动画。

首先，用户需要上传人物形象绘图，它需要画在一张没有线条与褶皱的白纸上，并保证光线充足。画像中的手臂和腿不能叠放在身体上，同时不能侵权。

然后，你需要调整角色周围框的大小，确保它正好框住角色。下一步，你需要将角色从背景中分离出来，并突出显示它。第四步，检查角色的关节。

最后一步便是用动作捕捉数据将上传的角色动画化。你可以任意选择想让这个角色做出的动作。

自己运行开源代码

要是你想自己下载和运行代码，GitHub提供了指引步骤。

需要注意的是，Meta的动画绘图项目已经在macOS Ventura 13.2.1和Ubuntu 18.04上进行了测试。如果在其它操作系统上安装，可能会遇到问题。

因此，Meta建议先激活Python虚拟环境，比如，用Conda的Miniconda，然后按照下述步骤下载安装。

首先运行如下命令：

然后，你就可以制作动画了。如果一切都正确安装，屏幕上将出现一个交互式窗口。角色、动作、场景等都由配置文件控制。你可以通过改变配置文件，导出MP4视频、动图等不同格式文件。

此外，Meta还训练了人形图形检测器和姿态估计器，并提供了从模型预测自动生成标注文件的脚本。为了让它工作，你需要设置一个运行TorchServe的Docker容器，GitHub上有详细的设置步骤说明。

设置完成后，只需输入如下命令，就能立即将图像转化成动画：

写在最后

AI技术开源，激活创造力

绘画是一种特殊的语言，将你的想象力变成栩栩如生的形象。你可以通过自由的创作记录下天马行空的想法，让别人读懂你的内心世界。而用AI技术将这些静态的图片秒转动画，则将进一步打开想象力之门。

Meta也正是通过将项目代码和业余绘画数据集开源，为更多有兴趣参与这类研究及体验的研究人员及创作者们降低开发门槛，使更多人能够更轻松地探索用AI技术创造出的另一个世界。

Meta在一篇博文中写道：“通过将模型和代码作为开放源码发布，为开发者提供了一个起点，使他们能够建立和扩展该项目，并促进社区内用户的创新和协作。”

参考资料：

https://baijiahao.baidu.com/s?id=1763153584880974511&wfr=spider&for=pc

https://www.engadget.com/meta-shares-ai-model-that-can-detect-objects-it-hasnt-seen-before-210002471.html