LEARNING PLAN / 进阶
多模态 RAG
从真实PNG和文档原件出发，真正训练图文双编码器，完成混合检索、上下文选择、逐项引用、冲突拒答与完整失败评测。
从问题出发，推导机制，再把实现交给新的输入检验。
时长为编写者建议，包含推演与练习，未经学习者计时验证；可按小节分次完成。
WHAT YOU WILL BUILD
完成之后，拿什么证明理解？
- 从实际PNG与Markdown构建可回查证据库
- 手算BM25、RRF与双向对比目标及梯度
- 真实训练图像/文本编码器并检验全参数更新
- 运行冻结权重到混合检索、完整上下文、引用或拒答
- 分开评价召回、回答与拒答并保存真实扰动失败
开始前，需要掌握什么？
- 基础Python、文件与数组操作
- 向量、矩阵乘法与基本概率
- 基本导数；可运行Python3.11及PyTorch项目
先修用于选择起点，不限制阅读；遇到缺口可返回相应章节。
THE LEARNING ROUTE
每一步，都有去处。
仅保存在当前浏览器；完成标记不代表通过项目验收。
原件与表征
建立可回查证据，连接词法检索与实际双编码训练。
原件导入、稳定ID与可回查证据
答案附了一条引用，怎样从稳定身份和内容版本回到实际文件中的那一处证据？
词法检索、BM25与可手算基线
一段文字重复许多次查询词时，BM25 怎样限制词频优势并处理文档长度？
双编码器、对比目标与真正的参数训练
一对图像和文字怎样通过同一个对比目标，更新两侧编码器的全部参数？
检索与回答
融合候选，核对来源、冲突、拒答与分层评价。
图文查询、候选融合与排序诊断
词法和图文检索给出不同榜单时，怎样融合候选并定位证据究竟在哪一步丢失？
完整证据上下文、原件核验与拒答
引用确实来自原件时，为什么仍要检查上下文可见性、同字段冲突与拒答条件？
检索、回答和拒答的分层评价
检索命中率高却回答错误时，怎样把召回、排序、支持和拒答分别计分？
压力与复跑
在同一检查点上检验真实图像扰动并完成交付。
真实像素扰动、信息丢失与失败诊断
同一张图只平移或改变曝光，为什么已配对成功的冻结编码器可能失效？
从下载项目到可复核图文资料助手
从新目录启动图文资料助手时，怎样确认索引、模型、回答和扰动结果来自同一版本？
BUILD / TEST / TRANSFER
可回查的图文工坊资料助手
24张原创PNG与7份原始文档，20训练/4留出组合，35,600参数双编码器；同一冻结权重贯通39题三路检索与72张真实扰动图片。
运行环境
Python 3.11+；PyTorch 2.6.0、NumPy 2.3.5、Pillow 12.3.0；CPU 即可。
解压后先读 README，再按其中环境与命令运行。完整参考实现与学习任务分开提供。
项目完成核对
这是个人核对清单，不是自动评分。保留输入、结果、失败与复现命令。