标签:#WorkBuddy #ComfyUI #MiniMaxH3 #AI视频 #本地部署
摘要:用 WorkBuddy 的 AI Agent 驱动本地 ComfyUI,在 8GB 显存 + 32GB 内存的消费级显卡上,把两本民国漫画(《牛鼻子》《蜜蜂小姐》)改编成两部共 13 个镜头的动画短片。本文沉淀完整的自动化管线:启动参数、API 全自动提交脚本、5 条实测方法论、8 个踩坑实录。所有数据来自 20+ 次真实采样,全部在本机完成,模型不出本地。
两部漫画改编动画短片,全部镜头用本地部署的 MiniMax H3 生成:
项目 | 镜头数 | 时长 | 特点 |
|---|---|---|---|
《牛鼻子》 | 6 镜 | ≈43s | 扛梯走路、撞灯、灯罩扣头当头盔、夸张摔倒 |
《蜜蜂小姐》 | 6 镜 | ≈43s | 民国老街、主观视角人物变形(morph)、潇洒离场 |
工作模式:AI Agent(WorkBuddy)分析漫画原作 → 拼贴首帧 → 通过 API 全自动提交采样 → 拉回逐帧审查 → 杂点涂除 → 混音交付。人在环里只做一件事:审片拍板。
硬件:8GB 显存(RTX 级消费卡)+ 32GB 内存。模型推理全程本地,视频生成环节零积分消耗。
整合包:MiniMax H3 OneClick(ComfyUI 便携版)。启动命令每一条都有用意:
--lowvram:H3 模型权重约 20GB,显存只有 8GB——靠内存↔显存换页硬跑。这条是 8G 卡的生死线。代价是采样时桌面画面会被挤到闪黑(正常现象,不伤结果)--reserve-vram 1.5:给桌面合成留 1.5GB,减轻闪黑fl2va_pruned_int8_convrot:int8 量化 + 剪枝,20GB 原始权重压进 8G 卡的另一半功臣四个端点走完整个采样生命周期:
配合两个参数化提交脚本(文末附获取方式):
h3_i2v.py:单首帧模式,python h3_i2v.py 首帧.png "提示词" 6.6 88100041 960 544 一条命令出片h3_fl2v.py:首尾帧模式,多一个尾帧图参数——本方案最重要的发现(见方法论 3)任务 | 帧数 | 实测耗时 |
|---|---|---|
5-7 秒竖屏/横屏 | 124-175 帧 | 6-9 分钟 |
10 秒 | 243 帧 | 54-61 分钟 |
帧数超过 ~192(8 秒),采样中间态塞不进 8GB 显存,全程换页,慢 7 倍。结论:单镜采样压到 8 秒内,结尾静止段用剪辑定格延长——视觉完全等效,时间省 90%。
「梯子撞灯」这个动作,提示词怎么写模型都会「隔空撞」——梯子在灯旁边晃、中间永远隔一条白缝。两次采样失败后换思路:首帧直接把灯罩和梯顶拼成物理重叠 10px,提示词用持续动词 pushing against。模型从「已接触」状态出发,唯一合理的动画就是把灯顶开——一次命中。
《蜜蜂小姐》的核心特效是男子从民国青年「主观视角变形」成孔乙己式旧文人,结尾再变回来:
解法:H3 原生支持首尾帧——MiniMaxH3ImageToVideo 节点有 optional 的 last_frame 输入(模型名里的 fl2va = First-Last-to-Video,一直在明示)。首帧老年图 + 尾帧青年图 + 提示词描述中间特效,一次采样全命中:渐变、软倒、后仰僵住全部到位。所有「状态 A→B」镜头都应该走这条路。
铁律:动作链一句主句串完、动词全部正向陈述(negative 堆叠会被歪解成新动作——写 "nothing left behind" 模型让人物放下了手里的梯子);台词按社交逻辑排时间戳(称呼→回应→正题),(S1) says: <d>[中文]...</d> 模型自动配音且口型同步;不写模型没有先验的场景元素(写「天花板」它就乱涂黑斑——背景全是留白的白描风尤其如此)。
画风锚定靠原作:参考图等比缩放直接当首帧(比例接近就裁边),比任何程序拼贴都忠实。需要人物换位置/换姿态时,从原作图连通域抠人物剪影(floodFill 外部标记法,人物白衫内部保持实心不透背景),贴进场景图。
Image.save 或 np.imencode + 文件流afade 淡出处理两部片子 13 镜全部一次/两次采样过审,零云端消耗。全部踩坑和方法论已整理成 AI Agent 可直接执行的自动化手册——拿到手册的 AI 在装好 OneClick 包的机器上,python h3_i2v.py 首帧.png "提示词" 6.6 <seed> 960 544 一条命令即可复现整条管线。
配置门槛:显存 8GB 是硬门槛;内存 16GB 勉强、32GB 舒适(lowvram 换页工作区);单镜 8 秒内。
文中两个提交脚本和完整方法论手册已整理为《H3 本地生成 AI 自动化手册》,欢迎交流。
原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。
如有侵权,请联系 cloudcommunity@tencent.com 删除。