LEARNING PLAN / 进阶
推理模型与强化学习
在同一套二步算术轨迹上，从有限概率推导REINFORCE、留一组基线与KL，训练真正的小型Transformer，并逐项报告训练改善、组合外推失败和格式脆弱性。
从问题出发，推导机制，再把实现交给新的输入检验。
时长为编写者建议，包含推演与练习，未经学习者计时验证；可按小节分次完成。
WHAT YOU WILL BUILD
完成之后，拿什么证明理解？
- 定义轨迹支持、严格验证器和有诊断意义的数据划分
- 重建score、留一基线与KL梯度并用枚举检查偏差
- 把两步响应接入真正共享参数Transformer并完成实际RL更新
- 用同一冻结权重区分学习收益、搜索预算、外推失败与格式失效
开始前，需要掌握什么？
- 会Python函数、列表与本地文件操作
- 能阅读有限求和、对数与基本求导；条件概率、score与组估计在正文推导
- 完成Transformer实战的因果解码器与反向传播基础；建议先读大模型后训练
- Transformer 第4章：因果与位置 ↗能说明给定前缀后每个动作的可见范围。
- Transformer 第6章：反向与更新 ↗能阅读 PyTorch 损失的反传与参数更新。
- Transformer 第7章：完整 Decoder ↗能核对解码器参数和逐位置输出；用于本课真实轨迹模型。
先修用于选择起点，不限制阅读；遇到缺口可返回相应章节。
THE LEARNING ROUTE
每一步，都有去处。
仅保存在当前浏览器；完成标记不代表通过项目验收。
任务与估计器
固定轨迹与奖励，推导策略梯度及组基线条件。
先把任务、轨迹与奖励定义完整
一条两步算术轨迹需要满足哪些类型、长度和数值条件，才应得到奖励？
从有限求和推导完整轨迹的策略梯度
奖励不能对参数直接求导时，怎样从有限轨迹求和得到策略梯度？
组内比较：哪些优势估计保持正确
减去同组平均奖励为何可能改变期望梯度，而留一平均在什么条件下保持无偏？
目标与更新
区分 KL 与裁剪，接通 decoder 的采样和全参数更新。
参考策略、KL与裁剪：别把不同目标混为一谈
KL、重要性权重和裁剪都能限制更新，它们究竟改变了哪个目标或估计器？
把完整轨迹接到真实Transformer
两个数字动作怎样接到完整 Transformer 的因果位置，并形成同一条轨迹概率？
一次真实RL更新：采样、验证、留一优势与反传
一次采到的40条轨迹，怎样经过验证、留一优势与重评分成为一次全参数更新？
评价与交付
分开训练、留出、搜索预算，复跑并保留真实失败。
训练改善、测试退化与更多采样必须分开报告
训练题更准但留出题全部失败时，更多采样与参数学习分别能说明什么？
从干净目录复跑到一份不回避失败的报告
怎样从干净目录复跑整个实验，并让最终报告同时保留训练收益与外推失败？
BUILD / TEST / TRANSFER
二步算术轨迹强化学习实验台
标准库精确参考 + 本地完整Transformer；采样、验证、留一回报、KL、更新、枚举与冻结评价全部贯通。
运行环境
Python 3.11+、PyTorch 2.6.0；CPU 单线程，无需 GPU 或 API Key。
解压后先读 README，再按其中环境与命令运行。完整参考实现与学习任务分开提供。
项目完成核对
这是个人核对清单，不是自动评分。保留输入、结果、失败与复现命令。