训练改善、测试退化与更多采样必须分开报告

先锁定这一章的实验对象

本章所有数值都来自同一模型配置、同一数据合同、同一次四十步SFT加一百步RL运行。before是监督后且RL前的权重，after是RL最终权重，参考始终等于before。训练二十题、测试五题分别报告，绝不把训练正确的十九题和测试零成功拼成另一个平均后只讲好看的部分。每个冻结模型既做一百路径精确枚举，也每题独立采六十四条；贪心是第三种评价，不与随机单次成功概率混用。

精确枚举给出固定输入下策略分布的成功质量，因此没有蒙特卡洛误差；但网络概率由有限精度计算，结果仍有舍入误差，而且这不等于总体任务分布的无偏统计估计。二十五题是我们定义的小型人工域，测试是有意留出的中间和，不是自然数学问题样本。课程的经验输入与精确概率计算分开：网络权重是训练测得，给定权重后的有限路径期望按模型定义计算。

算例一：训练域提升是真实的，外推也确实失败

二十训练题的平均精确单次成功概率从0.5034552473升到0.7706372887；贪心从16/20升到19/20；每题六十四次抽样合计1280条，观察成功从662变987。三个指标方向一致，支持本次RL在训练域提高严格奖励。平均完整轨迹KL从零变约0.3069642268纳特，说明策略确实相对监督参考发生变化，而不是只改报告或只增加评价采样次数。

五道测试题的平均精确成功概率却从0.001599408降到0.0000325802，贪心始终0/5；前后各三百二十条随机评价都零成功，最终平均轨迹KL约0.3060306642。测试退化是精确概率可见的，不是只凭采样零次猜测。结论是“本次训练改善训练域奖励，同时恶化这个组合外推集”，不能缩成“RL全面有效”，也不能扩成“RL不可能泛化”。

为什么留出的和特别有诊断价值

训练从未出现中间和四，因此正确第一位四没有作为第一步监督标签；最终余数八也只对应本域的和四，在训练正确第二步标签中缺席。网络可以学到许多输入到其他和的对应，却没有被正例要求在这一组输出[4,8]。强化学习继续只奖励训练二十题，可能进一步压低这些未被奖励的响应质量。这个机制与观察相容，但要证明具体内部因果，还需固定模型做额外干预，不能只凭这一段解释当成已证实神经机制。

例如测试二加二的最终贪心响应为[6,2,EOS]，内部第二步确实是六的两倍取余二，却第一步算错。若评价只检查中间到最终自洽，它就会被误记成成功；第一章严格验证正是为了保留这类失败。不同测试题还会输出[0,0,EOS]或[3,6,EOS]，显示可见轨迹结构合法与完成输入任务可以明显分离。

搜索预算的数学账

固定一个输入和模型，若每次独立采样的成功概率为p，k次都失败的概率为 $(1-p)^k$，至少一次成功概率是其补集。这是IID抽样和准确oracle验证条件下的精确公式，不需要任何参数更新。若样本相关、去重、束搜索或筛选器会错，公式不再直接适用。项目报告的pass@8是oracle知道哪条通过的理想“至少一条正确”，不是一个学习出的答案排名器的实际选中率。

算例二：增加采样不能冒充学习

均匀策略p0.01时，单次成功百分之一，八次至少一次约百分之七点七三，六十四次约百分之四十七点四四。全部提升都可以在参数完全不变的情况下发生，只是多花推理预算。如果给更新后模型采六十四次、基线只采一次，观察到更高最终成功也不能识别学习贡献。应固定每题相同k，再比较冻结模型；或者在同一模型上报告k的曲线，明确这是预算效应。

本次训练域平均pass@8从0.9802224252到0.9902835309，远小于单次概率的绝对提升幅度，因为before本来多数题已有较高概率，多采几次已接近饱和。测试域平均pass@8则从0.0126487218降到0.0002606006。这里必须先逐题算 $1-(1-p_x)^8$ 再平均，不能先把p平均后代公式；非线性使二者一般不同。

零次成功也需要统计解释

若冻结模型在同一成功概率p下独立采n次，零成功概率是 $(1-p)^n$。把它设为0.05，解得常见单侧百分之九十五上界 $p\le1-0.05^{1/n}$，这是固定p的二项模型下的频率学上界，不是“p有95%概率在此范围”的贝叶斯陈述。本项目五题每题概率不同，不能不加说明地把320次当成同一p；每题64次的上界更保守，约4.57%。精确枚举能更直接知道本小域的真实策略概率。

总体平均成功率估计也要注意题目权重。每题相同六十四次时，样本平均与逐题平均权重一致；若难题采更多次，直接把所有成功数除所有采样数会按预算重加权任务。报告应先固定题目总体和权重，再决定采样分配，不能让评价便利改变目标。当前项目每题同样六十四次，逐题记录避免这个问题。

格式压力测试用同一冻结模型

probe_formats.py对全部二十五题跑四种数字编号序列化，每种仍用相同受限贪心响应。规范顺序成功19/25，交换两个操作数仍19/25；去掉等号只4/25，把等号移到前面只3/25。测试题本身仍无成功，这些总体数字包含训练重合，不能宣称为独立泛化成绩。它们说明仅轻微改变提示位置就可破坏许多已会的训练题，当前网络尚未获得格式稳健性。

交换操作数成功相同与加法交换律相容，却不足以证明网络普遍掌握交换律；有限域也可能记忆对称输入。去掉等号、移位提示超出训练序列化合同，失败并不说明验证器坏掉，而是模型在这种分布变化下脆弱。另有六条验证器探针明确拒绝缺EOS、多EOS、布尔值、错误最终值和错误中间和；把模型格式迁移与验证器拒绝不合法格式分成两个记录，避免混为一种测试。

独立核对之后才能写结论

tests.py加载实际checkpoint，重新计算测试精确成功概率并与results.json逐项对照；冻结参考摘要必须一致，所有路径概率和接近一。训练前后只比较同一题、同一成功合同和同一采样预算。给模型追加采样直到终于成功、丢弃失败题、把验证规则改宽，都能抬高漂亮数字，却回答了不同问题，本课程的证据清单保留原始失败而不替换。

本章没有多训练种子的方差估计，没有自然语言数学题，没有规模扩展、远程API或GPU测量；这些一律未运行。一次固定CPU小域的失败仍有价值，因为读者能精确指出：代码梯度正确、参数真的更新、训练奖励提升，但指定测试能力没有形成。第八章将把这些“通过”与“失败”同等写入完整可复跑报告，而不是只用一个总PASS掩盖研究结果。

import math
p=.01
for k in [1,8,64]: print(k,1-(1-p)**k)
upper=1-.05**(1/64)
assert .045<upper<.047
ps=[.01,.9];k=8
exact=sum(1-(1-p)**k for p in ps)/2
wrong=1-(1-sum(ps)/2)**k
assert abs(exact-wrong)>.1
print("per-task",exact,"using mean p",wrong)

python run.py evaluate --output evidence --split test
python probe_formats.py --checkpoint evidence --output my-format-probes.json