滚动查看课程
第 01 章 / 8
原件导入、稳定ID与可回查证据
答案附了一条引用，怎样从稳定身份和内容版本回到实际文件中的那一处证据？
本章学习目标
- 从实际文档和图片建立证据单位
- 定义ID、散列与Unicode位置
- 划清数据、监督标签与答案证据边界
第 02 章 / 8
词法检索、BM25与可手算基线
一段文字重复许多次查询词时，BM25 怎样限制词频优势并处理文档长度？
本章学习目标
- 推导词频饱和、逆文档频率与长度归一
- 实现确定性中文双字单位
- 明确词法相关性不等于证据支持
第 03 章 / 8
双编码器、对比目标与真正的参数训练
一对图像和文字怎样通过同一个对比目标，更新两侧编码器的全部参数？
本章学习目标
- 从配对监督推导双向对比交叉熵
- 计算归一化与logit梯度
- 训练并检查所有图像和文字参数
第 04 章 / 8
图文查询、候选融合与排序诊断
词法和图文检索给出不同榜单时，怎样融合候选并定位证据究竟在哪一步丢失？
本章学习目标
- 把冻结双编码器连接实际PNG索引
- 手算倒数排名融合并理解并列
- 区分候选召回、覆盖重排和事实支持
第 05 章 / 8
完整证据上下文、原件核验与拒答
引用确实来自原件时，为什么仍要检查上下文可见性、同字段冲突与拒答条件？
本章学习目标
- 区分字符预算与模型token预算
- 实现原件散列和位置复查
- 执行支持、冲突与未知三类回答合同
第 06 章 / 8
检索、回答和拒答的分层评价
检索命中率高却回答错误时，怎样把召回、排序、支持和拒答分别计分？
本章学习目标
- 明确固定题集、分母与相关标签
- 计算hit、MRR和应拒答正确率
- 用冻结轨迹定位失败并避免评价泄漏
第 07 章 / 8
真实像素扰动、信息丢失与失败诊断
同一张图只平移或改变曝光，为什么已配对成功的冻结编码器可能失效？
本章学习目标
- 区分保持语义的扰动与破坏答案的信息变换
- 比较同一冻结编码器和固定像素基线
- 解释平移、曝光与灰度失败而不挑选局部胜者
第 08 章 / 8
从下载项目到可复核图文资料助手
从新目录启动图文资料助手时，怎样确认索引、模型、回答和扰动结果来自同一版本？
本章学习目标
- 运行实际文件到引用答案的完整接口
- 用同一检查点复现评价和扰动
- 检验所有参数、梯度、来源、泄漏与冻结边界
多模态 RAG
从图片与文档原件出发，完成可检索、可引用的证据管线。
进阶 · 8 课 · 建议 40 小时
课程范围与实验边界
八章贯通原件与位置、BM25、双向对比学习、冻结图文检索与RRF、完整证据上下文、引用支持与拒答、分层评价和真实像素扰动。CPU项目实际更新35,600参数，保留9道神经文档失败与平移等扰动失效；没有远程LLM、预训练CLIP、OCR或语音识别。
从真实PNG和文档原件出发，真正训练图文双编码器，完成混合检索、上下文选择、逐项引用、冲突拒答与完整失败评测。
查看课程计划