ControlNet作者张吕敏发布Paints-Undo可将任意图像转化为绘画过程视频

ControlNet作者张吕敏（Lvmin Zhang）又发布了一个新的项目Paints-Undo。该技术能够将任何一张图像“拆解”成一个25秒的图像绘制过程视频，展示从线稿到填色以及局部细节调整的全过程，仅需一张图便可生成25秒的绘画全过程。

Paints-Undo项目能够处理各种风格的图像，包括但不限于动漫风格。项目在GitHub发布不到24小时便获得了600多星标，显示出其受欢迎程度。该技术不仅可以生成单帧图像的创作过程，还可以通过多帧模型生成两张图像之间的过渡动画，展现更连续的变化过程。

项目中的技术主要分为两大模型：单帧模型和多帧模型。单帧模型可以针对给定的一张图像和一个操作步骤，反向生成该图像的绘制过程。而多帧模型则能展示两张图像之间的过渡，通过生成16帧中间帧来呈现更连续的动态过程。这两种模型的结合使用，可以生成长达几分钟的详细绘画过程视频，为用户提供了深入观察艺术创作过程的机会。

除此之外，Paints-Undo还提供了其他功能，如从静态图像中提取草图，进行外部草图插值，以及动漫风格转换等，旨在为数字艺术家、设计师、教育工作者和AI艺术创作爱好者创造便利和灵感。

尽管该项目具有许多创新特点，但它也展示了在处理写实风格或复杂构图时的局限性，并可能在特定情况下产生与主流工作流程不一致的绘制过程。然而，Paints-Undo通过模拟艺术家在创作过程中的笔触和步骤，为未来的AI绘画系统提供了更加贴近实际创作流程的参考。

项目的测试主要在拥有24GB显存的Nvidia 4090和3090TI上进行，确保了处理速度和图像质量。尽管该技术带来了许多创新，但也存在一些限制，如处理高度写实风格的图像时可能会遇到困难。此外，项目在特定情况下的表现可能与传统艺术创作的流程有所不同，但总体上为未来AI在艺术创作领域的应用提供了有价值的参考。

综上所述，Paints-Undo不仅是一个高技术项目，更是一个潜在的行业游戏规则改变者。它通过高级算法模拟人类艺术家的创作过程，展现了AI技术在艺术创作中的广泛应用潜力。随着技术的不断进步和优化，未来这种技术可能会在艺术教育和数字创作等领域发挥更大的影响。