训练二维速度网络与数值梯度验收

任务：训练真正的神经速度场，而不是展示解析教师

本章把前六章接口接到完整项目 projects/diffusion-models。网络输入是二维当前位置和连续时间，输出是二维速度；训练标签直接由独立抽样端点相减得到。解析教师不参与反向传播，只在验证中衡量场误差。这个区别决定我们是否真的做了机器学习：如果采样器实际调用的仍是人工解析公式，就不能把结果称为神经网络训练后的生成。本项目同时保存两种场的输出，但记录明确区分 learned 与 analytic_oracle。

运行环境固定为Python至少三点十、PyTorch二点六零、CPU单线程。训练使用Adam更新所有可训练参数，没有预训练权重，也没有冻结隐藏层只拟合最后输出层。由于任务仅有二维坐标和合成分布，标准库与PyTorch已足够，不需要下载图片、图像编码器或远程服务。后面的表现结论都限制在这份合成任务，不能推广为图像质量或真实数据的生成能力。

一、张量与参数账本

设批大小为 $B$。初始噪声与目标端点形状均为 $B\times2$，时间形状为 $B\times1$。项目将两个空间坐标、时间本身、时间的正弦和余弦拼成五维特征；正弦与余弦使用角度 $\pi t$。它们提供非线性的时间坐标，但不是学习出的语义特征。输入随后经过宽度为六十四的线性层、SiLU激活、第二个同宽线性层、SiLU，再经线性层输出两个坐标；三层线性都带偏置。

第一层权重是六十四乘五，第二层六十四乘六十四，输出层二乘六十四；偏置分别六十四、六十四、二。激活张量的数量随批大小变化，参数数量不随批大小变化。把两者混淆会错误估算模型规模。项目单元测试逐个参数张量检查梯度存在、有限且非零，再用有限差分核对一个权重导数，防止仅凭optimizer.step被调用就宣布完成全参数训练。

二、一次训练更新的完整信息流

训练器先用独立的本地随机数生成器抽 $X_0,X_1,t$，根据实际线性桥构造当前位置与差值标签。将网络预测与标签的逐元素平方差在样本和坐标上一起取平均，得到标量损失。清除上一次梯度后反向传播，再执行Adam更新。验证对使用固定且不同的种子生成，不参与这些参数更新；这不是文档切分问题，而是独立合成随机样本和随机端点对的隔离。

算例一：损失和输出梯度的手算

取两条样本，目标速度分别为一负一和零二，预测分别为零零和一一。四个坐标误差依次为负一、正一、正一、负一，平方和为四，除以二乘批大小二，损失为一。输出梯度依次为负零点五、正零点五、正零点五、负零点五。若实现按坐标取和而非平均，会使损失与梯度都放大两倍；它仍可能下降，所以“训练能跑”不能独立证明归一化符合协议。

若最后一层为 $v=Wh+b$，其中隐藏向量 $h$ 由之前层产生，单样本的权重梯度是输出梯度与隐藏向量的外积，偏置梯度就是输出梯度；隐藏梯度为权重转置乘输出梯度，再通过激活和前一层继续传播。停止隐藏梯度、把隐藏向量预先转成普通数值，或把大段前向放入no_grad，都会破坏全参数学习。有限差分应针对真正参与损失的参数，并用双精度小扰动避免舍入误差主导。

三、为什么正确训练的条件MSE不会归零

第五章的投影分解告诉我们，隐藏端点带来的速度条件方差构成不可约部分。训练器看到的是一次抽到的端点差，网络却只能读当前位置和时间。即使精确知道边缘场，也不可能在每个重复输入上猜中所有不同标签。因此需要同时记录条件标签MSE和相对解析边缘教师的场MSE；前者包含固有随机性，后者直接衡量本任务的场逼近程度，两者回答不同问题。

算例二：一个正的理论损失地板

考虑一维初始端点标准正态，目标端点均值二、方差一，端点独立。中间时刻为一半时，速度差的均值为二、方差为二；它与当前位置的协方差为零。因为该单高斯例子联合正态，零协方差意味着这两个量独立，所以给定当前位置后，速度条件方差仍为二。最佳预测处处为二，最小每坐标MSE为二；错误地期待它为零，会把正确场当作训练失败。

这个单高斯例子不能直接把数值二当作项目四簇混合的精确总体地板。项目在四千零九十六个固定验证端点对上，用解析场计算的标签MSE约为二点四一六一四；这是有限验证样本的测量。最终网络标签MSE约二点四六四零零，相对教师的场MSE约零点零五九三二。有限样本里投影交叉项不一定精确为零，所以不能硬要求“网络标签MSE减教师标签MSE”逐小数等于场MSE。总体等式与经验估计要分开。

四、真实运行记录与检查点

冻结的示例训练使用一千五百次更新，批大小二百五十六，隐藏宽度六十四，学习率零点零零二，模型初始化种子七、训练端点对生成器种子八。固定验证端点对种子为一万零七。网络标签MSE从五点零四五二八五降到二点四六四零零；相对解析教师的场MSE从二点六二四三六七降到零点零五九三二。参数总数与可训练数都是四千六百七十四。这些是项目JSON中的实测，不是示意期待值。

检查点保存模型、Adam状态、更新步数、模型配置、全局torch随机状态、本地训练对生成器状态及训练报告。保存这些信息有助于复查运行，但当前CLI没有提供精确恢复训练命令，因此我们不宣称已经实现和检验恢复接口。评价命令只读检查点，并核对前后文件指纹不变。换隐藏宽度、路径、坐标尺度或噪声公式都应视作新实验，不能沿用旧报告中的数值作为新版本成绩。

训练报告的验证损失来自未参与更新的合成端点对。它并不证明未见真实世界数据上的泛化，也不等同于样本分布已经正确。采样还会遭遇求解器误差；局部场可能在验证分布少见区域偏差更大；单个训练种子也不能显示不同初始化的波动。第八章将锁定此模型，再用多个采样种子与失败对照评估终端分布，而不继续挑选训练版本来迎合指标。

有限差分检验必须冻结同一批端点与时间。若参数加小扰动后重新抽数据，再减扰动时又抽另一批，两个损失之差主要反映随机样本，而不是导数。项目先固定双精度样本，计算反向传播导数，再将一个权重分别加减十的负五次方，使用同一标量损失做中心差分。最后把权重恢复原值。测试通过只验证被检查的导数和全参数梯度路径，不等于证明整个训练系统没有其他错误。

对SiLU激活，可以直接由乘积法则核对局部梯度：令sigmoid为一除以一加指数负输入，导数等于sigmoid加输入乘sigmoid乘一减sigmoid。这个激活在负区间也不完全切断梯度，但深层权重组合仍可能让梯度很小。应检查实际数值有限与参数确实更新，不能因为选择了一个平滑激活就省掉梯度验收。CPU单线程和固定随机种子帮助复跑，本课并未承诺跨硬件版本逐位一致。

import torch
from flow2d.core import Config,VelocityNet,generator,pairs,interpolate
torch.set_num_threads(1);torch.manual_seed(7)
model=VelocityNet(Config(16))
optimizer=torch.optim.Adam(model.parameters(),lr=0.002)
rng=generator(8)
for step in range(5):
    x0,x1,t=pairs(32,rng);x,target=interpolate(x0,x1,t)
    loss=(model(x,t)-target).square().mean()
    optimizer.zero_grad(set_to_none=True);loss.backward()
    assert all(p.grad is not None for p in model.parameters())
    optimizer.step()
print("updates",5,"loss",float(loss.detach()))

练习与完整解答