天才张吕敏再封神：FramePack让视频生成飞入寻常百姓家

天才张吕敏再封神：FramePack让视频生成飞入寻常百姓家

张吕敏：2023年提出并开源ControlNet框架，首次实现通过语义条件（如骨骼姿态、深度图等）对Stable Diffusion生成过程的精细化控制，极大提升了AI绘画的可控性与实用性‌。2025年发布开源项目Omost，通过大语言模型（Llama3-8b）将自然语言指令自动拆解为多区域绘图代码，实现DALL·E 3级别的可控生成，进一步降低AI创作门槛‌。从ControlNet到Omost，张吕敏始终保持技术开源，推动Stable Diffusion生态繁荣，被AI绘图社区称为“赛博佛祖”‌

在人工智能飞速发展的今天，AI生成内容（AIGC）已经从最初的文本生成扩展到图像、音频，而视频生成则被视为AIGC最后的高难度堡垒。近日，研究者Lvmin Zhang和Maneesh Agrawala在论文《Packing Input Frame Context in Next-Frame Prediction Models for Video Generation》中提出的FramePack技术，正在让AI视频生成变得更加亲民和实用化，这可能会彻底改变我们制作和消费视频内容的方式。

技术突破：笔记本也能生成高质量视频

FramePack最令人震惊的特点是其超低的硬件门槛。据官方介绍，该技术只需要6GB的GPU内存就能使用13B参数的大模型生成长达一分钟（1800帧，30fps）的视频。这意味着即使是普通的游戏笔记本，也能胜任专业级别的AI视频生成任务。与此同时，FramePack采用了逐帧预测的方式生成视频，让创作者能够实时看到生成结果，而不必等待整个视频完成。

这种技术突破的核心在于FramePack能够将输入上下文压缩到恒定长度，使得生成工作负载不随视频长度增加而增加。简而言之，无论你要生成5秒还是5分钟的视频，对硬件的需求基本保持不变，这在之前的视频生成模型中是不可想象的。

从图像到视频：创作流程大幅简化

与传统视频制作需要掌握复杂剪辑软件和专业技能不同，FramePack提供了一个简洁的图形界面，用户只需上传一张初始图像并输入简短的提示词，系统就能自动生成具有连贯动作的视频。例如，上传一位舞者的静态图像，并输入"优雅舞蹈"的提示，系统就能生成该舞者跳舞的连续动态画面。

官方演示展示了多种场景应用，从跳舞、滑板到写作，甚至是突然拿出一个写着"cute"的牌子等细节动作。这种从静态到动态的转换能力，为内容创作者提供了全新的创意工具。

AI影视制作的平民化趋势

FramePack的出现代表了AI影视制作正在走向平民化的重要一步。传统视频特效和动画制作往往需要昂贵的硬件和专业软件，而FramePack则将这一门槛降至普通消费者可接受的范围。随着这类技术的普及，我们可以预见几个关键趋势：

短视频创作革命：普通创作者可以更容易地生成高质量动态内容，为短视频平台带来更多创意作品。

个人品牌视觉化：小型企业和个人创业者无需高昂的制作成本，就能生成专业水准的宣传视频。

教育内容创新：教师和教育工作者可以将静态教材转化为动态演示，提升学习体验。

影视前期可视化：影视制作团队可以快速将分镜头转化为动态预览，加速创意决策过程。

技术细节

FramePack采用了下一帧（或下一帧段）预测的神经网络结构，逐步生成视频。官方报告称，在RTX 4090上，未优化状态下每帧生成速度约为2.5秒，使用teacache优化后可达1.5秒/帧。而在笔记本电脑上，速度会减慢4-8倍，但仍在可接受范围内。

值得注意的是，该技术目前支持PyTorch attention、xformers、flash-attn和sage-attention等多种注意力机制，用户可根据自己的硬件条件选择最适合的配置。

随着技术的不断进步，我们可以期待AI视频生成在以下方面取得更多突破：

更长时间的视频生成：从当前的分钟级扩展到完整短片级别

更精确的动作控制：允许用户更细致地指定动作细节和转场效果

多角度场景生成：基于单一输入生成多视角的连贯视频

实时互动生成：响应用户实时输入调整视频内容

最后

FramePack的出现标志着AI视频生成正从实验室走向普通用户的桌面。它不仅降低了硬件门槛，还简化了创作流程，使得"人人都能是视频创作者"成为可能。虽然目前该技术还有优化空间，但其发展方向无疑代表了AI影视创作的未来。随着这类技术的普及，我们正在进入一个创意表达更加民主化的新时代，而这仅仅是AI影视革命的开始。

源码：https://github.com/lllyasviel/FramePack

欢迎大家在下面扫码加入AI共创交流群。

AI写作编辑排版工具：智辑AI（aieditorx.cn）

AI电影共创社：国内最大的AI影视社群，社群超万人，有多名国内著名导演、编剧、影视领域教授专家学者。欢迎您加入，一起共学共创中国AI影视。

官方网站：

‌‍‌⁠‍⁠⁠‌‍‍‍⁠‬‍⁠‍‬https://aimoviecs.com

加入社群：只要您想学习AI，都可以加入我们。