词法检索、BM25与可手算基线

词法单位、词频与长度归一

来源层建立之后，先做可解释的词法基线。输入是一条实际查询字符串与真实证据单位，输出有序候选，不直接输出答案。词法方法比较词项是否共同出现，不需要训练权重，也不具有自动同义理解。它对文档字段和受控图像测量短描述很有效，因此必须保留为真实基线；不能为了突出神经模型而只比较一个故意很差的检索器。

中文没有天然空格分词，项目采用明确而有限的方案：去掉空白并转小写，拉丁字母数字串作为单位，中文字符提取后按相邻两个字构成双字词项。它不是语言学分词，也可能把原本分离的片段拼出跨边界词。例如“红色 小 圆形”形成红色、色小、小圆、圆形；图像像素短描述采用相同规则，查询才能对齐。标点被移除后的连接也是公开限制，不能据此宣称通用中文理解。

把本章数量写成可执行约束：$N$是非负文档数，$df_t\in\{0,\ldots,N\}$，$tf_{t,d}$是非负整数。$|d|$和平均长度使用同一分词器计数，不能一个数汉字、另一个数词项。固定当前非空索引时平均长度为正；空索引应返回空排名，而不是解释一个不存在的平均文档。这个类型与范围检查能在进入浮点评分前发现很多索引错误。

还可以由单词频因子直接算边际变化。令$A=k_1(1-b+b|d|/\overline{|d|})>0$，把$tf$暂看作连续变量$f$，商法则给导数$(k_1+1)A/(f+A)^2$，它为正且随$f$增大而减小。这是解释饱和的局部数学性质；实际词频仍是整数，可用相邻整数代入差值检查。模型并没有因此获得对自然语言相关性的概率保证。

设证据总数为N，某词在第d条证据出现次数为tf，包含该词的证据数为df，文档长度是所有词项出现次数之和，平均长度是全集平均。df每条文档至多计一次，而tf可以多次；把它们混用会错误惩罚重复词。项目用正值平滑逆文档频率，词越常见，idf越小；加一的形式避免极常见词出现负权重，属于实现选择，不能与所有BM25变体不加区分。

频率项为何饱和？当tf趋于无穷，分子分母最高次数相同，因子趋近k一加一，不会随着重复词无限增长。tf为零时贡献零，出现一次增加相关信号，继续重复仍有收益但边际减少。这个形式是信息检索评分模型，不是从现实文档概率精确推出的真相关后验；课上解释其机制与边界，不把它输出的分数当可直接比较的置信概率。

长度归一项把文档长度除平均长度，b控制惩罚程度。b为零时不看长度，b为一时充分按相对长度调整。相同tf下，更长文档的分母通常更大，分数更低，以减少长文档靠词多碰巧命中的优势。但长文档也可能真的包含更完整答案，因此分块与长度归一共同影响排序。字段行很短的当前语料与长论文的最优参数不必相同，不能把本次默认值说成普适最优。

算例一：两条等长证据的手算评分

设两条证据长度都为二，第一条包含两次词a，第二条包含两次词b。查询只有a，N为二、df为一，所以idf是log二。长度比为一，分母归一项为一点二，第一条频率因子是二乘二点二再除三点二，等于一点三七五。总分一点三七五乘log二，约零点九五三；第二条tf为零，得零。测试用独立手算值核对，不从函数自身输出再写回期望。

若第一条只含一次a而长度仍为二，频率因子是一乘二点二除二点二，等于一，得log二约零点六九三。词频翻倍并没有让分数翻倍，这正是饱和机制。若复制整份语料，N与df一起改变，平滑常数导致idf不必完全相同；因此评分依赖索引全集版本，不能在增删资料后不重建统计还声称原分数语义未变。

算例二：同词频的长度惩罚

令tf等于一，平均长度十。证据A长度十，频率因子为一；证据B长度二十，归一项一点二乘零点二五加零点七五乘二，即二点一，分母三点一，分子二点二，因子约零点七零九七。相同idf下B分数较低。若b设零，两者因子都为一；这个消融明确隔离长度归一，不应同时改变分块和查询来解释同一个差异。

最简单实现对每条证据保存词频Counter，再对查询词计算df并累计分数。当前几十条小索引足够，复杂度约与文档数乘查询词数及统计扫描有关。大库可以建立倒排表，只访问包含查询词的证据，并预存df与长度。算法替换应保留tokenizer、公式、浮点顺序和并列策略的合同；近似索引不是必要前提，也不能把“没有向量数据库”误当无法完成检索。

并列项按证据ID升序，确保相同输入稳定。零分条目不进入词法候选表，这意味着没有共享词项时可返回空，而不是用文件顺序装出相关内容。检索到一个得分很高的“开放时间”字段，也必须由回答器确认主题、字段和版本；关键词重合只是召回信号。若查询要管理员口令，便笺中恰好有这些字，检索可以命中，但不能把这段文字当执行指令或答案权限。

当前图像词法基线并非人工caption表，它索引的是实际像素算法生成的颜色、大小和形状短语。该短语准确时词法会很强，因此与学习编码器比较能说明在这个受控域里额外学习是否必要。它的失败也应保留：背景变暗后固定前景阈值可能把整个背景当对象，描述便错；词法检索随后忠实地搜索了错误描述。错误发生在感知层，不能把它误诊断为BM25公式错误。

同义词是词法法的典型缺口。源文档写“归还要求”，查询写“还东西前要怎样”，双字词可能没有足够重合。可以加词典扩展，但词典是新的人工知识，需要版本和对照；也可用训练文本编码器，但当前tiny模型只识别几何域词，不具有这种语义能力。课程没有悄悄把缺失能力委托给远程LLM。固定查询先检验已声明字段语法，超出语法时如实拒答或记失败。

基线验收不仅看最终正确率，还应保存每个查询的候选ID、原始BM25分、词法前五名及最终引用。一个查询答对可能是后续严格字段规则救回来，也可能是第一名直接正确；两者不能合成“检索top一正确”。后续章节会分开定义命中率、倒数排名和回答正确率，先在这里把排序产物保存完整，避免评价时只能从最后一句答案猜中间过程。

空查询、空索引、零平均长度等边界要有明确行为。项目对查询无匹配词时返回无候选，长度分母有极小正保护；完整固定原件都非空，未宣称验证所有损坏语料。Unicode归一化与数字日期规则也没有通用实现，原始输入的格式合同需保持。扩展语料前先补失败样本，再选择词法或语义改进，不能直接用“大模型会理解”掩盖具体问题。

import math
idf=math.log(1+(2-1+.5)/(1+.5))
score=idf*2*2.2/(2+1.2)
assert abs(score-1.375*math.log(2))<1e-14
print(idf,score)