视觉生成中交织文本推理的新路径

视觉生成模型还在"画完再想"或"想好再画"？这项研究打破了传统单次推理的局限。现有方法仅在生成前后进行文本推理，缺乏实时交互能力。该论文提出首个"边生成边思考"框架TWIG，让文本推理与图像生成同步演进。通过动态调整生成过程，模型能实时指导局部细节并反思整体构图，输出更具语义一致性的视觉内容。研究团队探索了三种实现策略，为多模态推理开辟了新路径。

引言：AI绘画的思维革命

当前AI绘画模型在长序列构图与多实体关系理解上的准确率仍低于40%，即使最先进的扩散模型也频繁出现空间关系和逻辑层次的误判。作者指出，传统方法仅在生成前规划或生成后修正，而无法在绘画过程中实现实时思考，导致模型难以动态协调局部细节与整体语义的一致性。

为此，该研究提出首个边生成边推理框架TWIG，通过文本推理与视觉生成的同步演进，构建起动态协同机制。该机制使模型能够依据已生成内容实时引导后续绘制，并对前期结果进行持续反思。初步实验表明，TWIG显著提升了复杂场景生成的语义连贯性，为突破当前AI绘画的认知局限开辟了新方向。

为什么传统AI绘画不够聪明

传统AI绘画方法面临推理过程与视觉生成之间的显著脱节。现有技术多依赖思维链方法，仅在生成前或生成后引入文本推理，导致整体流程缺乏灵活性与实时调整能力。

生成前规划方法首先构建结构化计划，例如场景布局或对象属性关系，再据此生成图像。尽管这类方法提升了全局一致性与实体布局质量，但一旦进入生成阶段，计划即固化，无法进行中途修正与细粒度调整。

生成后精炼方法则在图像完全生成后，借助自我批判或外部验证器获取文本反馈，并迭代修正视觉错误。尽管有助于局部修复与属性绑定，但推理与生成轨迹耦合松散，缺乏及时修订能力，同时引入额外推理成本。

部分并发研究尝试将推理与生成“交织”，但仍将视觉合成视为整体块处理，近似于生成前思考与生成后思考的组合。尽管表现良好，这些方法并未真正实现交织推理，限制了控制粒度与可操控性。

如图所示，现有方法在推理时机上存在明显局限：要么在生成前一次性规划，要么在生成后整体修正，缺乏生成过程中的动态交互能力。

TWIG框架：边画边思考

TWIG框架引入了一种边生成边推理的架构，将文本推理过程动态嵌入到图像生成流程中。该框架基于统一语言模型（ULM），通过三个关键机制实现细粒度视觉控制：推理调度、内容生成与局部修正。

在推理调度阶段，模型采用静态调度策略，将画布划分为上背景、中心内容和下背景三个语义区域，并在每个区域生成前插入推理步骤。这种分而治之的方法将复杂任务分解为更可控的子任务。

内容生成机制在每个推理点产生局部指导文本，形成文本思考，作为针对即将生成区域的细粒度提示。生成过程整合输入提示、历史思考与已生成内容，构建累积上下文，确保语义一致性。

局部修正机制在每区域生成后立即启动区域级评估。模型输出反思元组，包含评分与修订提示。若评分低于阈值，仅触发局部重新生成，而非全局重绘，显著降低计算成本并防止视觉偏差累积。

整个流程保持单一生成轨迹，通过扩展文本前文并保留已生成视觉标记，实现在标准文生图模型上的无缝集成。该设计使ULM无需图像到图像能力，即可完成多步推理生成任务。

三大实现路径对比

该论文系统评估了三种实现路径的性能与适用场景。零样本提示方法采用交错感知提示设计，在属性绑定和纹理生成方面显著优于基线，验证了其即插即用能力。实验表明，三步交错推理与单轮反思的组合在效率与效果间达到最优平衡，适用于快速验证场景。

监督微调方法基于TWIG-50K数据集，将推理过程划分为九个监督任务。研究发现均衡数据配比可最大化模型表现，尤其在形状理解与空间关系任务上提升明显。该方法还展现出更强的推理稳定性，有效抑制生成结果的随机波动。

强化学习路径引入TWIG-GRPO策略，对推理全过程进行联合优化，并配合多奖励模型集成，在颜色准确性和空间布局等复杂任务上取得最大突破。实验证实全组件联合强化优于模块单独优化，显示出协同增强效应。三种方法共同构建了从快速验证到高性能部署的技术路径。

实际效果有多惊艳

在T2I-CompBench(++) 基准测试中，TWIG框架仅通过零样本提示就显著提升了基础模型Janus-Pro的视觉生成质量，验证了该方法的即时有效性。通过TWIG-50K数据集的监督微调，模型在语义理解方面表现更稳定，有效降低了视觉幻觉现象。进一步采用定制化的TWIG-GRPO算法进行强化学习优化后，模型在思考时机与内容决策上展现出更强能力，不断拓展性能边界。与IRG、Uni-CoT等将视觉合成视为单一模块的方法不同，TWIG实现了真正的交织推理。其动态修订机制使图像在单次生成过程中能够根据文本推理被精确引导，从而输出更具上下文感知力的丰富视觉内容。

结语：AI绘画的未来

该研究引入的Thinking-while-Generating (TWIG) 范式，实现了文本推理与视觉生成的实时交织演进，显著提升了生成准确率并有效降低了计算成本。这一框架突破了传统预规划或后优化的单次推理模式，开创了动态多模态交互的技术路径。目前，TWIG的“何时思考”机制仍采用固定三步策略，在复杂场景下的自适应调度能力存在局限；其强化学习基础基于GRPO算法，尚未集成最新的策略优化技术，为后续改进提供了明确方向。未来，该框架有望向全自适应决策调度演进，并扩展至视频生成与3D内容创建等更广泛领域。随着底层模型能力的持续增强，“边画边思考”机制或将成为下一代AIGC工具的核心架构，这一趋势值得行业持续关注与探索。

论文地址：https://arxiv.org/abs/2511.16671 开源地址：https://github.com/ZiyuGuo99/Thinking-while-Generating