滚动查看课程
第 01 章 / 8
先固定语料与问题，再谈模型
同一批短文怎样划分和计分，才能让留出损失回答一个明确的问题？
本章学习目标
- 把文档、模板组、数据划分和训练目标写成可逐项核验的语料契约
- 用完整数值例子区分文档平均、token平均与泄漏造成的虚假泛化
- 从原始字节和分组清单重建项目数据摘要，并拒绝跨集合重复
第 02 章 / 8
字节、Unicode 与预测单位
一个汉字、它的 UTF-8 字节和模型词元分别是什么，为什么能编码不等于能合法生成？
本章学习目标
- 逐位还原 UTF-8 字节并区分字符、字节与 token 三种长度
- 验证固定字节词表对新字符的编码覆盖，同时构造不能解码的生成反例
- 按项目编号和边界协议计算目标数、均匀基线与字节归一化代价
第 03 章 / 8
从字节对统计到可逆 BPE
相邻字节对计数相同或彼此重叠时，怎样仍然得到确定、可逆的 BPE 编码？
本章学习目标
- 按确定的计数、并列与非重叠替换规则手算有序 BPE 训练
- 证明合并保留字节顺序，并构造错误替换或测试参与拟合的失败例
- 核算序列缩短、词表增大与规范 token 路径概率的边界
第 04 章 / 8
每个目标只出现一次：窗口与批次
把长文切成多个窗口后，怎样保证每个字符和结束标记恰好计分一次？
本章学习目标
- 从带边界序列推导输入目标错位和尾窗索引，证明有效目标恰好覆盖一次
- 区分跨窗上下文截断与未来泄漏，验证右填充的因果不变性
- 核算真实批次目标数、抽样状态与按目标加权的评估分母
第 05 章 / 8
完整 decoder 的梯度与资源总账
怎样从真实 decoder 的形状与梯度记录，发现只更新输出层的“训练”？
本章学习目标
- 按实际 preLN、绝对位置、GELU decoder 的矩阵形状核算全部参数
- 从交叉熵沿输出投影与残差链解释梯度，检测只训练输出层的伪闭环
- 以真实参数、梯度与状态内存记录界定小CPU实验的可训练范围
第 06 章 / 8
把训练变成可恢复的状态转移
同样的权重和种子载入后，为什么下一步更新仍可能不同？
本章学习目标
- 逐项执行清梯度、前向、反向、裁剪与AdamW更新，区分loss与预算指标
- 手算AdamW首步并解释为何只恢复权重不能恢复优化轨迹
- 保存并核验模型、优化器、编码、数据、抽样与随机状态，复现同环境下一步
第 07 章 / 8
冻结协议下的评估与生成失败
测试损失降低但生成乱码时，应该分别检查哪些统计量与输出失败？
本章学习目标
- 从逐文档NLL重建token PPL与含EOS的规范路径位数每原始字节
- 用均匀与训练unigram基线识别指标口径和训练统计问题
- 在冻结模型上分别记录留出损失、生成编号、UTF-8合法性与可观察失败
第 08 章 / 8
从小规模对照到可信的预算结论
加宽模型或增加更新步数后表现变了，怎样区分参数、语料覆盖与累计训练预算的影响？
本章学习目标
- 区分参数量、独特语料、累计训练目标与计算预算，设计可重建的配对实验
- 复算四条真实轨迹的全部十二点，解释宽度与更新数观察的有效范围
- 识别未知损失下限、低样本拟合与不匹配预算导致的虚假scaling推断
从零训练语言模型
把数据、训练与评估连成一条可复现的流水线。
中级 · 8 课 · 建议 32 小时
课程范围与实验边界
八章从语料契约、UTF-8与可逆BPE开始，逐步接通窗口、全参数decoder、AdamW训练、精确恢复、留出评估和受控规模对照。课程依赖已学的Transformer机制，项目包含其自写实现副本，可独立运行。每章配完整数值算例、标准库验证、分层练习和解释小测；小合成语料上的真实结果用于验收工程，不作为自然语言能力或大模型缩放定律的证明。
从原创短文与字节编码出发，建立训练专用BPE、完整decoder、可恢复训练和统一评估。八章围绕同一个离线CPU项目，用数值推导、故障反例与真实收据连接每个环节。
查看课程计划