真实像素扰动、信息丢失与失败诊断

冻结图像表征的扰动与信息边界

闭集配对成功后，最重要的问题变成“哪些变化会让它失效”。本章不再训练模型，保留二百二十步冻结检查点，给同一批二十四张原图生成三种实际PNG扰动，共七十二张。每张都从磁盘重新解码，重新运行学习编码器和固定像素规则，再保存预测ID、派生属性、散列与正确布尔值。这里不存在仅在向量表上加噪声却称图像鲁棒性测试的替代。

先定义评价对象。每张原图的目标是颜色、形状、大小组成的二十四种身份之一，检索图库是原有二十四个文本短语。扰动图像作为查询，模型输出与所有文本方向点积并取第一名；固定像素基线输出测量短语，与原caption逐字比较。两者并不是完全相同输出形式，但都判定是否恢复同一原始三属性身份。结果不能直接扩展成自然图像分类或开放语言问答成绩。

第一种变换把原图粘贴到新的三十二像素画布，水平右移五、垂直下移四，背景仍是原浅灰。当前居中图形最大半径十，原边界五到二十五，平移后十到三十和九到二十九，仍在画布内，因此图形没有被裁掉。这是本组样本上的语义保持变换，几何属性本应保留。若把平移加大到物体出框，便变成信息丢失测试，不能还沿用完全可恢复的解释。

算例一：平移不改变全局几何，却击穿学习表示

固定像素方法先取所有前景坐标的最小与最大值，宽高由最大减最小加一得到；完整平移使坐标整体加常数，差值不变，所以包围框宽高、前景面积、平均颜色与填充比例都不变。当前颜色、大小、形状只依赖这些量，因此在没有裁切且背景规则不变时，预测应不变。这是本方法在该域里的一个真正不变量，不是“传统方法应该鲁棒”的直觉。

卷积层具有局部共享权重，但本模型后面把八乘八位置展平，再用每个空间位置不同的线性权重组合，最终不具有严格平移不变性。即使卷积的某些局部响应随图形移动，展平位置改变仍会影响输出。模型训练没有位置增强，二十四张全是相同中心布局，因此可能将位置信号当作配对捷径。真实结果平移后二十四张只恢复两张原身份，而固定像素基线二十四张全对。

二除二十四约为百分之八点三三，远低于原图全中；它是这组固定平移图片的测量，不是某未知自然分布的准确率估计。单靠这个结果也不能证明唯一原因是展平层，因为下采样、边界、训练分布共同作用。要分离机制，可在后续独立实验固定训练预算，仅改变全局池化或位置增强，并使用新位置测试；当前没有做这项训练消融，所以课程将结构机制解释与实验证据边界分开。

算例二：曝光减弱与固定阈值为何相反

第二种变换对全部八位RGB数乘零点四五、四舍五入再转八位，背景也一起变暗。原背景每通道二百四十五，变为约一百一十，归一后约零点四三，小于前景阈值零点八。于是固定规则把几乎整张背景当成前景，包围框成为整幅三十二乘三十二、填充率接近一，原本的小圆可能被误判成大方形。这是感知定义对光照假设过强的直接失败，不是BM25公式缺陷。

同一冻结学习模型在变暗图上二十四张恢复二十二张，而固定像素基线只三张。结果说明这次学习表示对这种整体亮度缩放更稳，却没有证明一般光照不变性；尚未测试阴影、白平衡变化、局部高光或新背景。不能只报道这组优点而删掉前一组平移崩溃，再声称神经分支全面优于规则。保留全部三种扰动是对“整体泛化”这个说法的最低约束。

第三种变换将RGB转为亮度灰度，再复制回三通道。颜色信息被不可逆压缩，不同RGB可能映射同一亮度；因此这与保持原三属性身份的平移不是同类测试。当前仍按原caption打分，学习模型四除二十四、规则十二除二十四，但该分数混合了形状大小能力、不同颜色原型的亮度差以及不可恢复信息。不能把所有灰度错误都当成可通过训练消除的语义推理缺陷。

举一个独立信息丢失例子，若灰度采用三个通道算术平均，纯红向量一、零、零与纯绿零、一、零都变成三分之一、三分之一、三分之一。任何只读灰度输出的确定性分类器对两者必须给相同答案，因此至少一个原颜色标签会错。这个小例不用证明Pillow的所有具体权重，也足以说明降维映射非单射时不能普遍恢复输入。真实项目四个颜色亮度不完全一样，还可能残留标签线索，所以既不能说颜色必全错，也不能说答对便恢复了真实色彩。

red=(1.,0.,0.);green=(0.,1.,0.)
def mean_gray(rgb):
    g=sum(rgb)/3
    return (g,g,g)
assert red!=green and mean_gray(red)==mean_gray(green)
print(mean_gray(red))

用数学语言说，语义标签函数记作$y(I)$，表示的理想不变性要求$y(TI)=y(I)$时仍有预测$\hat y(TI)=\hat y(I)$。平移在当前未裁切图中满足前一个条件，而灰度不保证原颜色标签可从输出定义。因而“所有扰动准确率”若不区分这两类，会把真正的模型敏感与输入中已经丢失的信息混在一起。实验前先写标签是否应保持，比分数出来后再解释更可检验。

将三组放到同一表中才看得到取舍。原始图学习和规则均二十四全中；平移学习二、规则二十四；变暗学习二十二、规则三；灰度学习四、规则十二。模型、阈值和文本图库在各组之间都不改，避免每组各调一个最优版本。课程没有构建“平移用规则、变暗用模型”的神奇最优组合，因为推理时如何可信识别变化类型本身也是待解决问题。

诊断还要保留原预测，不只一组均值。stress.json逐张记录错误图ID和错误文本ID，可查看是否大量坍缩到同一类别；生成的七十二PNG本身也留在evidence/stress，并由散列绑定报告。若学生替换某张原图，旧检查点不应悄悄继续被说成在同一训练数据上获得的结果。源输入清单与检查点训练图像散列让这种变化可以被追查。

更完整的鲁棒性研究还需要多个训练种子、未看过的位移范围、不同背景、不同大小及负样本组合，评估是否只是修好固定七十二图。当前只有一个训练种子，三组预定扰动，没有统计显著性结论。此处保留失败并不是降低课程目标，而是让学生能从一条真实完整流程理解：训练拟合、组合留出、分布变化和信息丢失是四个不同命题，需要四类不同证据。