
在CG与游戏美术生产中,角色是成本最高、复用需求最强的资产。传统流程依赖原画—建模—绑定—渲染的线性管线,一个角色的多视角、多姿态、多表情变体往往需要数周。基于扩散模型的角色定制训练(Character LoRA / DreamBooth)把这一环节压缩到数小时,并且能输出与原设定高度一致的新视角与新动作。但它不是“丢图就能跑”的黑盒——角色训练的成败,80%取决于数据工程与超参设计,20%才是算力。
角色训练的核心是让模型学到“身份特征”而非“这张图”。数据准备需遵循三条原则:
多视角覆盖。 建议20–40张,包含正面、3/4侧、侧面、背面,以及近景面部与半身、全身。若角色为原创CG角色,应先在DCC中渲染统一光照的转盘图,避免光源方向成为身份特征被模型吸收。
特征去冗余。 剔除背景复杂、遮挡严重、分辨率低于768px的图。背景越干净,模型越倾向把注意力放在角色本体上。
分辨率分桶。 SDXL训练应使用分桶(bucketing)而非强行裁剪,保留长宽比可避免角色比例失真。
打标的目标是建立“触发词 → 角色身份”的映射,同时用自然语言描述可变量(姿势、服装、表情),让模型把可变因素与固定身份解耦。
推荐格式:
ohwx_character, 1girl, silver short hair, red heterochromia eyes,
mechanical left arm, black bodysuit, standing, full body, white background其中 ohwx_character 为稀有触发词,保证不与现有词表冲突;身份特征(发色、瞳色、义肢)固定写入,姿态与场景则逐图变化。切忌每张图都用完全相同的长描述,否则模型会把所有token绑定为整体,丧失可控性。
以 SDXL + LoRA 为例,核心脚本如下(简化版,省略数据加载细节):
import torch, torch.nn.functional as F
from diffusers import AutoencoderKL, UNet2DConditionModel, DDPMScheduler
from transformers import CLIPTextModel, CLIPTextModelWithProjection, CLIPTokenizer
from peft import LoraConfig, get_peft_model
# 1. 加载基座
vae = AutoencoderKL.from_pretrained("stabilityai/stable-diffusion-xl-base-1.0", subfolder="vae")
unet = UNet2DConditionModel.from_pretrained("stabilityai/stable-diffusion-xl-base-1.0", subfolder="unet")
te1 = CLIPTextModel.from_pretrained("stabilityai/stable-diffusion-xl-base-1.0", subfolder="text_encoder")
te2 = CLIPTextModelWithProjection.from_pretrained("stabilityai/stable-diffusion-xl-base-1.0", subfolder="text_encoder_2")
tok1, tok2 = CLIPTokenizer.from_pretrained(...), CLIPTokenizer.from_pretrained(...)
noise_sched = DDPMScheduler.from_pretrained(base, subfolder="scheduler")
# 2. 注入LoRA(仅UNet,文本编码器冻结以保护语义先验)
lora_cfg = LoraConfig(
r=16, lora_alpha=16, lora_dropout=0.0,
target_modules=["to_q", "to_k", "to_v", "to_out.0"],
init_lora_weights="gaussian",
)
unet = get_peft_model(unet, lora_cfg)
unet.print_trainable_parameters() # 约 0.7% 参数可训练
# 3. 训练循环核心
optimizer = torch.optim.AdamW(unet.parameters(), lr=1e-4, weight_decay=1e-2)
scheduler = torch.optim.lr_scheduler.CosineAnnealingLR(optimizer, T_max=2000, eta_min=1e-6)
scaler = torch.cuda.amp.GradScaler()
for step, batch in enumerate(loader):
pixel = batch["image"].cuda() # [B,3,1024,1024], [-1,1]
with torch.no_grad():
latents = vae.encode(pixel).latent_dist.sample() * vae.config.scaling_factor
noise = torch.randn_like(latents)
t = torch.randint(0, noise_sched.config.num_train_timesteps, (latents.shape[0],), device="cuda")
noisy = noise_sched.add_noise(latents, noise, t)
# 双文本编码器 + 池化向量(SDXL的timestep条件)
emb1 = te1(tok1(batch["caption"], padding="max_length", max_length=77, truncation=True,
return_tensors="pt").input_ids.cuda())[0]
out2 = te2(tok2(batch["caption"], padding="max_length", max_length=77, truncation=True,
return_tensors="pt").input_ids.cuda())
prompt_embeds = torch.cat([emb1, out2.last_hidden_state], dim=-1)
added = torch.cat([out2.text_embeds, out2.text_embeds], dim=-1)
with torch.autocast("cuda", dtype=torch.bfloat16):
pred = unet(noisy, t, encoder_hidden_states=prompt_embeds,
added_cond_kwargs={"text_embeds": added,
"time_ids": batch["time_ids"].cuda()}).sample
loss = F.mse_loss(pred.float(), noise.float(), reduction="mean")
scaler.scale(loss).backward()
scaler.step(optimizer); scaler.update()
optimizer.zero_grad(set_to_none=True); scheduler.step()
if step % 250 == 0:
print(f"step {step} | loss {loss.item():.4f}")关键超参:rank 16–32、UNet学习率 1e-4、文本编码器学习率 4e-5 或直接冻结、cosine衰减、总步数 1500–2500(按 20–40张 × repeat 计算)。loss 曲线在 0.05–0.15 区间平稳下降属正常;若早期跌破 0.02,通常意味着过拟合,应减少步数或增大数据集。
训练结束后不要凭肉眼单图判断。建议构建固定评估集:8个固定seed × 12条prompt(含近景、全身、背面、动作变化),生成网格图。量化指标可用 DINOv2 特征余弦相似度衡量身份保持度,用 CLIP Score 衡量语义对齐度;两者同时高才算合格。若身份相似度高但姿态多样性差,说明过拟合,需回退步数或增加正则化图像。
在生产管线中,训练好的LoRA可作为“角色资产”纳入版本管理,配合ControlNet(openpose/depth)驱动姿态,实现从分镜到角色成图的半自动化产出。角色一致性问题由此从“美术返工”转变为“模型迭代”。
CG角色训练的本质是把角色设定编码为可复用的条件先验。数据决定模型认识谁,打标决定模型如何解耦特征,超参决定模型记住多少。三者协同,才能让一个角色在任意镜头、任意姿态下稳定输出,而非停留在“抽卡式”的偶然成功。
原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。
如有侵权,请联系 cloudcommunity@tencent.com 删除。