LEARNING PLAN / 进阶
大模型高效推理
围绕一台可复跑的CPU推理实验台，推导预填充与解码成本，验证KV缓存、预算、连续批处理和量化误差，再用原始测量区分正确、更省与更快的实际证据。
从问题出发，推导机制，再把实现交给新的输入检验。
时长为编写者建议，包含推演与练习，未经学习者计时验证；可按小节分次完成。
WHAT YOU WILL BUILD
完成之后，拿什么证明理解？
- 逐项推导预填充、缓存解码和空间成本并核对实际张量
- 验证多层缓存、全局mask、错误前缀与绝对位置窗口边界
- 用可重放调度和量化反例区分模拟、近似与精确执行
- 在同一冻结模型上保留正确性、原始计时、哈希及未完成项
开始前，需要掌握什么？
- 能运行本地Python程序并理解矩阵形状
- 理解因果注意力、pre-LN、残差、逐位置前馈与完整解码器；相关复习入口见课程先修链接
- 能阅读乘法、求和、最大值与基本概率；本课逐项展开成本与误差公式
- Transformer 第5章：完整解码块 ↗能说明归一化、残差与逐位置前馈在因果块中的作用。
- Transformer 第7章：完整 Decoder ↗能沿多层解码器跟踪输入、位置与输出形状。
- Transformer 第10章：生成与缓存 ↗能区分完整前缀、增量位置和每层 K/V 历史。
先修用于选择起点，不限制阅读；遇到缺口可返回相应章节。
THE LEARNING ROUTE
每一步，都有去处。
仅保存在当前浏览器；完成标记不代表通过项目验收。
工作量与复用
定义时间和成本口径，证明缓存并建立内存账本。
先定义工作负载，再推导推理成本
两个实现都说“每秒更多词元”，怎样确认它们使用了同一工作量与时间分母？
KV 缓存：证明复用，检查位置与窗口
把旧位置的 K、V 留下来后，怎样证明分块计算仍等于完整前缀前向？
从 KV 元素到账本与准入预算
给定层数、批量和序列长度，怎样在分配缓存前算出内存需求与可接纳请求数？
执行与质量
区分模拟调度、近似量化与数值正确性。
连续批处理：状态、时间轴与可证伪模拟
一个短请求到达时长请求还没完成，连续批处理怎样改变等待和完成时间？
量化：从舍入误差到模型质量边界
把权重舍入到少量刻度后，怎样估计误差，并区分伪量化与真正的整数执行？
验证：精确执行与近似质量分开验收
缓存输出差一点、量化输出差一点，为什么不能用同一个“差不多”标准验收？
测量与报告
固定轨迹联合核对等价性和耗时，保留测量边界。
测量：固定轨迹、成对重复与性能边界
一次计时更快是否足够，怎样在同一输入上同时核对数值等价与重复耗时？
收束项目：同一冻结版本的联合证据
怎样把理论成本、模拟调度与真实 CPU 计时写进同一份不混淆口径的报告？
BUILD / TEST / TRANSFER
可审计的CPU推理实验台
冻结随机小解码器，完成缓存对照、实际KV字节、调度模拟、量化误差和固定轨迹成对基准；交付可独立下载运行的源码与真实收据。
运行环境
建议 Python 3.12，PyTorch 2.6.0；CPU 即可，完整安装步骤见项目 README。
解压后先读 README，再按其中环境与命令运行。完整参考实现与学习任务分开提供。
项目完成核对
这是个人核对清单，不是自动评分。保留输入、结果、失败与复现命令。