以统一的模型配置、中文语料、tokenizer 与评估流程，系统比较自回归语言模型和扩散语言模型；涵盖模型实现、训练起点、阶段顺序、基础模型规模与 A2D 实现五组对照，并提供可复查的训练与数值校验流程。
ARnDlm
ARnDlm 是一个用于研究自回归语言模型（AR）与扩散语言模型（DLM）的训练实验项目。它围绕一个清晰的问题展开：在模型规模、tokenizer、训练数据和评估方式尽量一致时，两种生成范式各自呈现出怎样的训练特性与对话能力？
项目将研究问题拆成五组对照实验，每组聚焦一个变量：
| 对照 | 研究问题 | 比较内容 | 实验价值 |
|---|---|---|---|
| AR 实现 | 两种实现能否表达同一个模型？ | Transformers 实现与原生 PyTorch 实现，在共享权重和输入上逐项对拍 | 为后续实验建立经过数值校验的 AR 基线；logits 最大差异达到 1e-5 以内 |
| DLM 起点 | 从 AR 权重出发对扩散训练有什么影响？ | 随机初始化的 Direct-DLM，与从 AR 权重转换后进行 A2D 的模型 | 对照模型起点，观察预训练知识在扩散训练和对话能力中的作用 |
| 训练顺序 | 先教模型对话，还是先进行扩散训练？ | AR 预训练 → SFT → A2D 与 AR 预训练 → A2D → SFT | 直接比较训练阶段顺序，分析先后安排如何影响最终模型 |
| 基础模型 | A2D 能否应用于不同来源和规模的基模？ | 小参数自训模型与 Qwen3-0.6B，并比较不同实现路径 | 将研究从单一小模型扩展到不同体量和来源的基础模型 |
| A2D 实现 | 不同 A2D 实现是否给出一致结果？ | dllm 库与参考 MiniMind DLM 风格的手写实现，在同一模型、随机种子和 corruption 下比较 | 用一致性校验确认实现可靠，让模型训练结果更可复现 |
共享的数据处理、模型配置和评估流程，让实验能够逐项控制变量，并保留可复查的训练记录。实现间的对拍还覆盖 logits、训练恢复、扩散损失和权重转换等关键环节，为模型比较提供可靠的工程基础。
项目使用 MiniMind 中文语料和 6400 词表 tokenizer，涵盖语料整理、模型训练、验证、采样和对话评估。
冒烟实验已跑通从数据到训练产物的完整链路，也验证了模型实现对拍、训练恢复和多种训练阶段的基本流程。
