LEARNING PLAN / 进阶
大模型后训练
用可穷举参考与完整微型decoder连接SFT、偏好数据、BT、KL与DPO。八章逐步推导真实回答概率与梯度，保留偏好改善、概率外流和格式迁移失败的独立证据。
从问题出发，推导机制，再把实现交给新的输入检验。
时长为编写者建议，包含推演与练习，未经学习者计时验证；可按小节分次完成。
WHAT YOU WILL BUILD
完成之后，拿什么证明理解？
- 由示范与比较定义不同目标，准确放置response-only掩码
- 推导BT梯度、KL最优策略与DPO完整回答损失
- 全参数训练11472参数decoder并验证固定reference与路径评分
- 用独立留出、绝对路径质量和格式失败界定后训练结论
开始前，需要掌握什么？
- 能编写Python程序，使用有限概率、对数、导数与链式法则
- 已完成Transformer实战的decoder、因果性和全参数反向传播
- 能运行本地PyTorch2.6 CPU环境；理论参考代码只需标准库
- Transformer 第4章：因果与位置 ↗能核对自回归回答的条件范围。
- Transformer 第6章：反向与更新 ↗能阅读链式求导与全参数更新。
- Transformer 第7章：完整 Decoder ↗能沿完整解码器核对 logits 与目标位置；用于本课序列实现。
先修用于选择起点，不限制阅读；遇到缺口可返回相应章节。
THE LEARNING ROUTE
每一步，都有去处。
仅保存在当前浏览器；完成标记不代表通过项目验收。
监督与比较
区分示范和偏好，构造有限响应的可核对目标。
后训练究竟改变什么
示范只给一个回答，偏好比较两个回答，它们分别允许我们改变和判断什么？
SFT：从回答似然到全部参数梯度
提示和回答拼成一串后，怎样只计算回答的每个词元及 EOS，并沿全部参数反传？
偏好数据：比较的是谁与谁
比较数据出现平局、重复或循环偏好时，还能从中识别怎样的奖励关系？
奖励与策略
推导奖励差、KL 最优策略及 DPO。
BT奖励模型：只识别差值的统计拟合
偏好只约束两个回答的奖励差，为什么奖励的绝对零点与尺度仍需单独处理？
KL约束下的最优策略怎样推出来
怎样从奖励减 KL 的目标推到最优策略，并核对零参考概率处为何不能直接套公式？
DPO：从奖励变量替换到回答log比
提高 winner 相对 loser 的概率比，为什么仍可能降低 winner 的绝对概率？
序列与评价
接到完整 decoder，并核对概率外流与格式迁移失败。
把理论接到完整decoder的SFT与DPO
把四个回答的公式接到完整 decoder 后，怎样核对掩码、整条路径分数与冻结参考？
评估：偏好改善、概率外流与格式失败
偏好指标改善而回答似然或新格式表现变差时，怎样同时保留这些结论？
BUILD / TEST / TRANSFER
偏好机制与完整decoder双实现实验台
有限四响应参考提供精确期望与全参数数值差分，真实decoder支线完成SFT60步与DPO40步、冻结载入评价和五项格式迁移探针。打包源码、原创数据清单、十七项测试与全部成功/失败收据。
运行环境
建议 Python 3.12，PyTorch 2.6.0；CPU 即可，完整安装步骤见项目 README。
解压后先读 README，再按其中环境与命令运行。完整参考实现与学习任务分开提供。
项目完成核对
这是个人核对清单，不是自动评分。保留输入、结果、失败与复现命令。