北大、腾讯等联合发布！DynamiCrafter：任意图像秒变动态视频，超高清无缝衔接

编辑：李宝珠，三羊

由北大、腾讯 AI Lab 强强联手推出的 DynamiCrafter 能够模拟真实世界的运动模式，处理包括风景、人物、动物、交通工具、雕塑等多种类型的静态图像，并结合文本指令控制物体细节运动，瞬间生成超逼真的动态视频！被广泛应用于文化教育、社交营销、娱乐媒体等领域。

1986 年，CCTV-1 播出的《葫芦娃》一经亮相便收获了广泛好评，更是成为无数 80 后、90 后珍贵的童年回忆，但这部经典动画，其实是由工作人员绘制了约 20 万幅图像组合而成的。

葫芦娃的不同图像

根据剧情发展，工作人员会拼接角色关节摆出动作，并将其以每秒 24 帧画面拍摄成视频形式，让观众形成一种视觉感差，即认为角色是会活动的。

角色关节拼接

事实上，动态视频就是由一帧帧画面连续播放而来。起初，人们在画纸上勾勒图景，通过快速翻动纸张让图像「活」起来；随后，计算机、摄像机可以将 24 帧以上的画面在 1 秒内保留，造成一种快速连贯的动态视觉效果。至此，视频技术在模拟自然场景的随机动态（如云和流体）或特定领域的运动（如人体动作）方面取得了很大进展。

花的盛开过程

然而，无论是拍摄而成的真实景象，还是虚拟的动画、动漫，动态视频的呈现都需要有画面连续的素材支撑，例如要展现鲜花盛放的完整周期，人们便需要真的去等待花开，并逐帧记录。

静态图 + girl's hair blowing in the wind = 过程动画视频

AI 的出现突破了这一限制。由北大、腾讯 AI Lab 强强联手推出的 DynamiCrafter 模型利用视频扩散先验技术模拟真实世界的运动模式，结合文本指令，即可将图片转换为动态视频，能处理包括风景、人物、动物、交通工具、雕塑等几乎所有类型的静态图像，生成的动态视频高清晰、超流畅、无缝衔接，每一个细节都能拿捏得恰到好处！

起始帧图片+结束帧图片+a smiling girl=过程动画视频

DynamiCrafter 在应用场景上更是大显神通，具体应用案例包括但不限于:

* 娱乐媒体：为电影、游戏、虚拟现实环境创造动态背景和角色动画。

* 文化教育：将历史照片转换为动态形式，为文化遗产提供新的互动方式；制作教育视频，将图像动态化来解释复杂概念；将科学数据或模型转为直观动态，减少科学研究的沟通壁垒。

* 社交营销：生成吸引人的动态图像和短视频，用于社交媒体广告和品牌推广；通过动态图像讲述故事，为书籍、电子书的宣传增添视觉效果。

为了帮助大家更好地体验 DynamiCrafter，HyperAI超神经上线了「DynamiCrafter AI 视频生成工具」教程！该教程为大家搭建好了环境，无需再等待模型下载训练，点击克隆即可一键启动，丝滑视频瞬间制作！

教程地址：

https://hyper.ai/tutorials/31974

以上教程基于 WebUI，简单易用，但局部精准化控制有限，ComfyUI 基于节点式的界面和工作流，可以通过改变节点来实现不同效果，赋予用户更高的自由度和创作空间。因此，HyperAI超神经同时上线了「ComfyUI DynamiCrafter 图生视频工作流」教程。具体教程详情看 HyperAI超神经今日发布的次条内容。

Demo 运行

1. 登录 hyper.ai，在「教程」页面，选择「DynamiCrafter AI 视频生成工具」，点击「在线运行此教程」。

2. 页面跳转后，点击右上角「克隆」，将该教程克隆至自己的容器中。

3. 点击右下角「下一步：选择算力」。

4. 跳转后，选择「NVIDIA GeForce RTX 4090」，点击「下一步：审核」。新用户使用下方邀请链接注册，可获得 4 小时 RTX 4090 + 5 小时 CPU 的免费时长！

HyperAI超神经专属邀请链接（直接复制到浏览器打开）：

https://openbayes.com/console/signup?r=6bJ0ljLFsFh_Vvej

5. 点击「继续执行」，等待分配资源，首次克隆需等待 3-5 分钟左右的时间。当状态变为「运行中」后，点击「打开工作空间」。

若超过 10 分钟仍处于「正在分配资源」状态，可尝试停止并重启容器；若重启仍无法解决，请在官网联系平台客服。

6. 该教程可以实现以下 2 种效果，下面将逐一为大家演示： * 通过图片和文本提示生成视频； * 通过起始帧、结束帧和提示词生成视频。

通过图片和文本提示生成视频

1. 新建一个终端，运行「cd DynamiCrafter」切换至 DynamiCrafter 目录下。

2. 执行「python gradio_app.py」命令，稍等片刻，当命令行出现「https://0.0.0.0:8080」后，拷贝右侧 API 地址到浏览器地址栏中打开 Gradio 界面。请注意，用户需在实名认证后才能使用 API 地址访问功能。

3. 打开 Gradio 页面后，上传一张照片和并增加一段文本描述（例如：fireworks display），点击「Generate」后，稍等片刻，即可生成视频。

通过起始帧、结束帧和提示词生成视频

1. 返回终端界面，通过「Ctrl + C」终止当前进程后，随后运行「python gradio_app_interp_and_loop.py」命令，待命令行出现「https://0.0.0.0:8080」后，打开右侧 API 地址。

2. 在 Gradio 页面，上传一个起始帧图片、结束帧图片以及一段文本描述（例如：a smiling girl），点击「Generate」即可生成视频。

目前，HyperAI超神经官网已上线了数百个精选的机器学习相关教程，并整理成 Jupyter Notebook 的形式。

点击链接即可搜索相关教程及数据集：