滚动查看课程
第 01 章 / 8
后训练究竟改变什么
示范只给一个回答，偏好比较两个回答，它们分别允许我们改变和判断什么？
本章学习目标
- 把条件策略、监督示范、偏好比较与独立评估定义为不同数据对象
- 在四响应任务上逐项计算正确率质量、简短质量与期望效用
- 建立不夸大模型能力的后训练状态与分区契约
第 02 章 / 8
SFT：从回答似然到全部参数梯度
提示和回答拼成一串后，怎样只计算回答的每个词元及 EOS，并沿全部参数反传？
本章学习目标
- 逐步推导softmax交叉熵的p−y梯度，并沿线性策略更新全部参数
- 对多token回答准确放置response-only错位掩码，保留首回答token与EOS
- 区分按回答、按token和按示范重复频数加权的监督目标
第 03 章 / 8
偏好数据：比较的是谁与谁
比较数据出现平局、重复或循环偏好时，还能从中识别怎样的奖励关系？
本章学习目标
- 把同提示winner/loser、平局与重复比较写成可检查数据契约
- 由重复比较频数估计胜率，并用循环偏好反例定位标量奖励假设的边界
- 区分候选覆盖、标注规则与独立效用，构造可揭露位置或长度偏差的测试
第 04 章 / 8
BT奖励模型：只识别差值的统计拟合
偏好只约束两个回答的奖励差，为什么奖励的绝对零点与尺度仍需单独处理？
本章学习目标
- 从Bradley–Terry假设推导稳定似然、梯度与正则化Hessian
- 手算正确性与简短性两个特征的独立比较，核验解析梯度
- 解释可分偏好的无穷尺度压力、加性不可识别与校准限制
第 05 章 / 8
KL约束下的最优策略怎样推出来
怎样从奖励减 KL 的目标推到最优策略，并核对零参考概率处为何不能直接套公式？
本章学习目标
- 在有限正支持参考分布上逐步求解期望奖励减KL的最优策略
- 由KL非负性给出独立全局最优证明，核对温度与奖励尺度的联动
- 构造零参考支持与反向KL反例，界定公式不能直接覆盖的情形
第 06 章 / 8
DPO：从奖励变量替换到回答log比
提高 winner 相对 loser 的概率比，为什么仍可能降低 winner 的绝对概率？
本章学习目标
- 将KL最优策略反解为奖励并代入BT，逐项消去提示归一化常数
- 推导DPO梯度，区分四候选线性消项与完整decoder的链式反传
- 手算参考相同起点与winner绝对概率下降的反例，界定beta和长度求和
第 07 章 / 8
把理论接到完整decoder的SFT与DPO
把四个回答的公式接到完整 decoder 后，怎样核对掩码、整条路径分数与冻结参考？
本章学习目标
- 按真实batch与response_logps接口重建首回答/EOS mask和完整路径评分
- 核算11472参数decoder并验证SFT/DPO全参数梯度与冻结reference
- 运行独立载入评估，定位候选条件归一化与绝对回答概率的差别
第 08 章 / 8
评估：偏好改善、概率外流与格式失败
偏好指标改善而回答似然或新格式表现变差时，怎样同时保留这些结论？
本章学习目标
- 并列解释SFT似然、DPO隐式比较、有限期望效用与序列greedy结果
- 用真实收据重算目标冲突，并区分候选KL与完整生成分布诊断
- 在冻结模型上保留全部格式迁移失败与未测边界，完成可复核交付
大模型后训练
从任务和失败案例出发，让模型学会你需要的行为。
进阶 · 8 课 · 建议 32 小时
课程范围与实验边界
从有限条件策略定义开始，完整推导监督似然、比较模型、正则奖励、KL最优分布与DPO梯度，再接到自写decoder的response-only全参数SFT和完整回答DPO。配套标准库数值参考、CPU序列项目、分层练习、独立评价和全部失败记录。任务与数据均为原创合成实验，不冒充商用大模型，也不把候选归一化或greedy满分当作通用对齐能力。
用可穷举参考与完整微型decoder连接SFT、偏好数据、BT、KL与DPO。八章逐步推导真实回答概率与梯度，保留偏好改善、概率外流和格式迁移失败的独立证据。
查看课程计划
课程信息
进阶
8 节讲义
8 段独立代码
32 小时
查看课程计划