滚动查看课程
第 01 章 / 8
先定义工作负载，再推导推理成本
两个实现都说“每秒更多词元”，怎样确认它们使用了同一工作量与时间分母？
本章学习目标
- 建立请求时间轴并区分模型计算与用户等待
- 逐项推导预填充和解码的乘加成本
- 用单位与反例检查成本估算的适用条件
第 02 章 / 8
KV 缓存：证明复用，检查位置与窗口
把旧位置的 K、V 留下来后，怎样证明分块计算仍等于完整前缀前向？
本章学习目标
- 用因果依赖证明多层缓存的合法性
- 实现并验证多词元块的全局因果位置
- 用错误前缀与窗口溢出反例确定缓存边界
第 03 章 / 8
从 KV 元素到账本与准入预算
给定层数、批量和序列长度，怎样在分配缓存前算出内存需求与可接纳请求数？
本章学习目标
- 推导缓存、权重、临时激活的独立空间账本
- 计算MHA与GQA的投影和缓存差异
- 用分页碎片与安全余量建立准入条件
第 04 章 / 8
连续批处理：状态、时间轴与可证伪模拟
一个短请求到达时长请求还没完成，连续批处理怎样改变等待和完成时间？
本章学习目标
- 实现可追溯的FIFO离散调度并检查守恒
- 计算静态与连续批次的完成、等待和利用率
- 识别模拟时钟与真实硬件、首词元目标的边界
第 05 章 / 8
量化：从舍入误差到模型质量边界
把权重舍入到少量刻度后，怎样估计误差，并区分伪量化与真正的整数执行？
本章学习目标
- 推导对称量化的尺度、误差界与通道粒度
- 以离群值和小间隔反例检查数值风险
- 区分伪量化误差实验、压缩存储和整数内核
第 06 章 / 8
验证：精确执行与近似质量分开验收
缓存输出差一点、量化输出差一点，为什么不能用同一个“差不多”标准验收？
本章学习目标
- 建立数学、数值与行为三层检查的依赖
- 用正负对照区分有效检验与空操作
- 设计真实语言模型迁移时的无泄漏质量协议
第 07 章 / 8
测量：固定轨迹、成对重复与性能边界
一次计时更快是否足够，怎样在同一输入上同时核对数值等价与重复耗时？
本章学习目标
- 写出可复跑且计时边界明确的CPU基准
- 从原始重复复算中位数并检查噪声
- 区分实测、理论下界、模拟与尚未运行项
第 08 章 / 8
收束项目：同一冻结版本的联合证据
怎样把理论成本、模拟调度与真实 CPU 计时写进同一份不混淆口径的报告？
本章学习目标
- 从空目录复跑独立实验并核对来源哈希
- 用联合门槛区分通过、失败与未验证
- 撰写不越过证据边界的完整推理报告
大模型高效推理
用可测量的延迟、吞吐和内存，指导推理优化。
进阶 · 8 课 · 建议 32 小时
课程范围与实验边界
八章从请求时间轴和乘加账本出发，证明多层缓存的合法复用，处理绝对位置窗口，建立真实缓存字节、分组查询和分页准入账本。配套独立CPU项目将离散调度、浮点量化误差和成对计时分开验收，以正负对照、原始重复和来源摘要收束。项目不下载预训练模型；明确随机夹具、整数内核、GPU及线上服务的测量边界。
围绕一台可复跑的CPU推理实验台，推导预填充与解码成本，验证KV缓存、预算、连续批处理和量化误差，再用原始测量区分正确、更省与更快的实际证据。
查看课程计划