第 01 章 / 12
从预测任务到数据契约
给定“春风”，怎样构造输入与目标，让模型预测下一个字符和结束，而不是复制当前字符？
本章学习目标
- 从条件概率定义逐步得到含 EOS 的自回归分解，并区分前缀与完整文档概率
- 按文档切分并建立 train-only Unicode 排序词表，使用 UNK0/BOS1/EOS2 和独立的目标忽略值 −100
- 按项目右填充规则构造移位输入、目标和有效标记，区分真实 EOS 与填充角色
- 用 B、T、V、D 复算嵌入与输出形状，并运行独立契约检查
第 02 章 / 12
从概率到向量表示
一组实数打分怎样变成概率和损失，同一字符出现多次时嵌入梯度又怎样累加？
本章学习目标
- 从稳定 softmax 与似然逐步推导有效 token 平均交叉熵及其 p−独热目标梯度
- 手算三类分数的概率、损失和更新方向，并用平移不变性及中心差分独立复核
- 把嵌入查表写成独热矩阵乘法，计算重复 token 在同一参数行上的梯度累加
- 用对称汇总反例定位次序信息丢失，区分字符嵌入与下一章的上下文读取
第 03 章 / 12
把注意力逐项算清楚
两个位置如何从 Q、K、V 算出读取结果，并把误差传回三个投影？
本章学习目标
- 从输入与三个独立投影逐轴构造 Q、K、V，复算二维两位置注意力及缩放的假设边界
- 从 AV、softmax 雅可比和缩放点积逐步推导全部 Q/K/V 与共同输入梯度
- 用行平移、凸组合边界及全坐标有限差分独立检查前向与反向
- 用相同键和修改值的反例区分匹配权重、读取内容与词表预测概率
第 04 章 / 12
因果、多头与位置
注意力怎样避免看见未来，同时用多头和位置区分同一字符在不同地方的作用？
本章学习目标
- 推导 j≤i 并证明右填充处于有效查询的未来，以目标 −100 排除填充损失而保留真实 EOS
- 逐索引拆合多头，手算每头缩放、读取与无偏置 W_O 的输出混合
- 将可学习绝对位置接入嵌入，计算按位置共享的梯度并限定无位置反例的适用范围
- 用未来扰动、关闭 mask 对照和整段/缓存等价检查定位信息泄漏及位置 offset 错误
第 05 章 / 12
从残差到完整解码块
归一化、残差与前馈怎样接成一个完整解码块，并保留可检查的梯度通路？
本章学习目标
- 逐步计算人口方差 LayerNorm 与精确 GELU 前馈
- 写出 pre-LN 两分支前向及残差梯度通路
- 按形状逐项推导整机参数账本
- 用代数不变量、数值与结构检查验证块实现
第 06 章 / 12
反向传播与优化
一个损失标量怎样沿整个计算图产生梯度，又怎样变成一次 AdamW 更新？
本章学习目标
- 从计算图推导 softmax 交叉熵与 head 权重梯度
- 逐步推导 LayerNorm 的输入与仿射参数梯度
- 用不变量和中心有限差分定位反传错误
- 解释 AdamW 偏置校正、解耦衰减与裁剪的不同地位
第 07 章 / 12
实现可训练的 Decoder
怎样把嵌入、多层块和输出头接成模型，并发现未注册参数或互相矛盾的目标？
本章学习目标
- 把词嵌入、位置、多层块、finalLN 与 head 接成公开接口
- 用手算极限核验完整 logits 与对齐损失
- 区分可微计算、模块注册与优化器持有边界
- 运行全部参数连接和固定批次拟合验收并识别矛盾目标
第 08 章 / 12
训练、数据与可复现恢复
训练被中断后，怎样恢复模型、优化器、抽样与随机状态，让下一步更新仍然相同？
本章学习目标
- 以固定文档 ID 划分并构造每字符及 EOS 一次计分的窗口
- 推导右 padding、忽略目标和有效 token 加权评估
- 沿真实 API 运行训练与 eval/no_grad 验证
- 保存并检验模型、优化器、采样器及 torch RNG 的完整恢复
第 09 章 / 12
评估：怎样知道模型真正学到了什么
验证损失降低时，怎样排除测试泄漏、分母错误和不匹配消融带来的假改善？
本章学习目标
- 从逐词元负对数概率推导加权损失和困惑度
- 设计不泄漏测试集的验证、消融与对照协议
- 用文档级重采样描述有限样本的不确定性
- 把质量结果追溯到同一模型、数据与配置
第 10 章 / 12
生成与缓存：让同一模型逐步续写
同一模型怎样逐词元续写，并确认缓存与完整前缀计算保持等价？
本章学习目标
- 按条件分布推导greedy、温度与top-k生成
- 逐层解释KV缓存与完整前缀计算为何等价
- 计算缓存内存和逐词元计算复杂度
- 发现位置偏移、窗口裁剪和随机状态错误
第 11 章 / 12
架构与成本：从教学模型走向现代实现
换用 RoPE、GQA 或在线 softmax 时，哪些是同一函数的执行优化，哪些改变了模型？
本章学习目标
- 计算主项目参数、激活、KV与矩阵乘成本的不同账本
- 推导RoPE相对位置点积和GQA缓存节省
- 区分RMSNorm、门控前馈与原模型的函数差异
- 用分块在线softmax重建同一注意力而不保存整行概率
第 12 章 / 12
最终项目：交付一台可以复跑的Transformer
别人只拿到项目包时，怎样独立复跑训练、恢复、评估和生成，并核对同一版本的结果？
本章学习目标
- 独立组装数据、模型、优化、恢复、评价和生成的完整链
- 用明确的验收矩阵检查正确性而非只看演示
- 把参考运行的收益、失败与数据边界一起报告
- 产出带环境、哈希、原始结果和复跑命令的项目包
Transformer 实战
从一次预测出发，理解注意力、位置与生成。
中级 · 12 课 · 建议 48 小时
课程范围与实验边界
从下一词元预测出发，逐步推导注意力、因果与位置、残差和反向传播。十二章围绕同一台字符 Transformer 展开：独立实现、全参数训练、精确恢复、缓存生成与评估。配套完整代码、数值检查、分层作业和项目验收，明确小语料实验的能力边界。
从手算注意力出发，独立实现、训练并验收一台完整的字符 Transformer。
查看课程计划
课程信息
查看课程计划