数据瓶颈到结构破局：约束式合成数据工程的理论框架

当前大语言模型（LLM）的发展已从“参数规模竞赛”进入“数据效率竞赛”。面对“数据是瓶颈”这一行业共识，单纯扩充低质量数据量已无意义。本文提出一种以“结构换效率”为核心的方法论，探讨了合成数据在面临“幻觉与分布坍塌”风险时的可控生成策略。文章的核心论点在于：不要让 LLM 自由发挥，控制比生成更重要；内容源（Seed Data）的治理是决定合成数据质量的天花板。 本文形式化定义了“约束式合成数据工程”（Constrained Synthetic Data Engineering, CSDE），并给出了一套基于图结构约束与沙盒化执行环境的伪代码实现逻辑。

1. 引言：数据饥渴与质量陷阱

在规模化定律（Scaling Laws）的指引下，业界很快发现，互联网公开可用的高质量文本正被消耗殆尽。数据是瓶颈，这不仅是数量问题，更是结构问题。大模型训练的边际收益递减，根源在于低信息密度的数据占据了大量算力。

为了打破瓶颈，合成数据被视为解药。然而，直接让 LLM 随意生成对话或文章极易引发“模型崩溃”（Model Collapse），生成内容往往存在逻辑浅薄、多样性丧失的问题。因此，合成数据有风险但必须用。本文主张，解决问题的钥匙在于：用结构的确定性，对抗生成的不确定性。

2. 核心方法论：结构换数据效率

传统的“撒胡椒面”式数据收集效率极低。所谓“结构换数据效率”，是指将原始的非结构化内容（Content Source）转化为层级化、逻辑化的知识拓扑结构，仅在有向无环图（DAG）的特定节点上进行文本膨胀。

公理 1： 所有的自由文本生成必须发生在一个由内容源定义的沙盒内。 公理 2： LLM 只能执行“填空”与“改写”这样的闭卷任务，不能执行“联想”这样的开卷任务。

3. 内容源的价值层级

本文提出，内容源比生成工具重要。一个高质量的内容源（如权威教材、设计文档、高质量代码库）构成了合成数据的骨架。如果内容源本身充满错误，合成管道只会放大这种错误（Garbage In, Garbage Out）。

我们将内容源定义为五级成熟度：

1. 原始碎片：未清洗的网页抓取。
2. 线性文档：清洗后的长文，缺乏结构化标注。
3. 结构化语料：带有逻辑层级（如 Markdown 标题树）的文档。
4. 原子化微元：拆解到最小不可分逻辑单元（如定理、API 定义），并建立了实体链接的知识图谱。
5. 约束场：不仅包含知识，还包含“否定约束”（绝对不能违反的规则）。

只有达到第 3 级以上的内容源，才具备进入合成管道的资格。

4. 算法实现：受控的合成管道

为了彻底贯彻不要让 LLM 自由发挥的原则，我们设计了一套强约束算法。该算法的核心在于“模式控制”与“编译器校验”。

我们以一个代码指令微调数据的生成为例。目标是生成复杂的多轮对话以训练 LLM 遵循指令。