滚动查看课程
第 01 章 / 8
先把任务、轨迹与奖励定义完整
一条两步算术轨迹需要满足哪些类型、长度和数值条件，才应得到奖励？
本章学习目标
- 从有限样本空间建立二步算术任务及严格验证协议
- 区分中间步骤、最终答案和真实因果推理的证据
- 完成数据划分、攻击测试与均匀策略的手算基线
第 02 章 / 8
从有限求和推导完整轨迹的策略梯度
奖励不能对参数直接求导时，怎样从有限轨迹求和得到策略梯度？
本章学习目标
- 逐行推导score恒等式与REINFORCE
- 用解析梯度、有限差分和轨迹枚举三路核对
- 区分训练目标、样本梯度和一次优化器更新
第 03 章 / 8
组内比较：哪些优势估计保持正确
减去同组平均奖励为何可能改变期望梯度，而留一平均在什么条件下保持无偏？
本章学习目标
- 证明独立基线与留一基线的无偏条件
- 精确算出含自身组均值的缩放偏差及标准差归一的变化
- 在全零组、相关采样和不同任务难度下解释失效
第 04 章 / 8
参考策略、KL与裁剪：别把不同目标混为一谈
KL、重要性权重和裁剪都能限制更新，它们究竟改变了哪个目标或估计器？
本章学习目标
- 完整推导轨迹KL正则的score估计器
- 手算概率比、重要性权重和正负优势的裁剪分支
- 明确本项目on-policy实现与PPO、GRPO的边界
第 05 章 / 8
把完整轨迹接到真实Transformer
两个数字动作怎样接到完整 Transformer 的因果位置，并形成同一条轨迹概率？
本章学习目标
- 从输入编号、响应位置与因果矩阵推到完整路径似然
- 逐项核对2768参数账本及十数字支持归一
- 实现采样、重评分、枚举和冻结参考的统一接口
第 06 章 / 8
一次真实RL更新：采样、验证、留一优势与反传
一次采到的40条轨迹，怎样经过验证、留一优势与重评分成为一次全参数更新？
本章学习目标
- 完整追踪40条二步轨迹如何进入一次参数更新
- 把监督收益、RL收益、参考惩罚与优化器效应分开
- 读懂稀疏奖励零梯度、裁剪及17张量更新的证据
第 07 章 / 8
训练改善、测试退化与更多采样必须分开报告
训练题更准但留出题全部失败时，更多采样与参数学习分别能说明什么？
本章学习目标
- 读出同一冻结运行的训练提升与组合外推失败
- 推导IID pass@k并区分预算增加和参数学习
- 用精确枚举、独立采样、格式压力与零成功上界核对结论
第 08 章 / 8
从干净目录复跑到一份不回避失败的报告
怎样从干净目录复跑整个实验，并让最终报告同时保留训练收益与外推失败？
本章学习目标
- 在独立项目目录重建完整数据、训练、评价和格式检查
- 建立源码、检查点、指标与测试的同一证据清单
- 以有限计算成本与明确未运行项目界定课程终点
推理模型与强化学习
设计可验证的任务、奖励与训练反馈，理解推理优化。
进阶 · 8 课 · 建议 34 小时
课程范围与实验边界
八章连接严格任务合同、精确梯度、组估计偏差、参考策略、完整响应似然、实际全网络RL更新、固定预算评价和独立证据。项目包含标准库精确枚举及2768参数真实解码器，40步SFT加100步RL，所有17张量实际更新。保留未见中间和测试退化；不是自然语言推理大模型或完整PPO/GRPO复现。
在同一套二步算术轨迹上，从有限概率推导REINFORCE、留一组基线与KL，训练真正的小型Transformer，并逐项报告训练改善、组合外推失败和格式脆弱性。
查看课程计划