磁盘嵌入缓存：把评测迭代成本降到零

结论先行：评测迭代最大的隐性成本是“重复嵌入”。DiskEmbeddingCache 把已算好的向量存成二进制缓存，以内容哈希为键，并做模型一致性校验，让同一条内容永远不 embedding 第二次，评测迭代成本趋近于零。

一、重复嵌入为什么贵

先把账算清楚。RAG 的评测是个循环：改规则 → 重跑 → 看指标。问题出在重跑这一步——切片规则改了，语料本身没变，可如果每轮都把所有块重新送进 embedding 模型，绝大部分算力就花在了“重复劳动”上。嵌入是 RAG 流水线里最贵的计算之一，单次价格随模型规模走，乘上块数和重跑次数，账单立刻失控。语料越大，这个浪费越致命。

更实际的后果是行为改变：门禁本该每次变更都跑，可一次全量评测要等很久，团队就会开始“攒着一起跑”，评测闭环名存实亡。评测本来是为了找问题，结果自己先成了瓶颈——这是很多团队在语料过万块之后才意识到的。成本问题，最终变成了流程问题。要让门禁真正跑起来，得先把这个成本拆掉。

二、磁盘缓存怎么工作

解决思路并不复杂：同样的内容算过一次，结果就该留着复用。键的设计直接决定缓存的生命周期——键落在内容这一层，切片规则怎么调、评测怎么重跑，缓存都安然无恙；键若落在 chunk 层，改一次切法缓存就全部作废。

DiskEmbeddingCache 的思路很直接：以内容哈希为键，把 embedding 结果存成二进制文件。下次遇到相同内容，直接读盘返回，跳过模型前向。向量是确定性的——同样的内容、同样的模型，输出必然相同，所以缓存命中即等价于重算，不损失任何正确性。

它和知识库自身的 SHA-256 幂等一脉相承：导入时内容没变的文件直接跳过，重跑一次预处理 0.2 秒就能走完；嵌入缓存把同一纪律延伸到向量化阶段。从文档到 chunk 到向量，每一层都只算一次。断点续跑管的是批次，缓存管的是向量，两层合起来，大规模语料的迭代才敢放开手脚。

三、模型一致性校验

缓存不是永远有效。一旦换了 embedding 模型或版本，旧向量和新向量就落在两个不同的语义空间里，混用会静默拉低检索质量——这不是理论风险，是必然结果：不同模型的向量根本没有可比性。比如迁移到 Qwen3-Embedding-4B，旧缓存必须作废重算，而不是继续沿用。

缓存因此做模型一致性校验：记录每条向量由哪个模型生成，模型标识对不上就自动失效旧缓存、重新计算。这避开了“用着错误版本的向量还以为没问题”的坑——这类问题的症状是指标莫名下滑，排查起来非常费时，因为解析、切片、检索每一环看起来都正常，唯独向量已经换了语义空间。校验把这种错误在第一时间变成显式的重新计算，而不是留到评测里慢慢显形。

四、让门禁跑得勤

缓存把评测的重复嵌入成本降到零，回归门禁才敢每次变更都跑、每晚都跑。每晚都跑的另一面是指标曲线连续，回归一眼可见。它和幂等重跑（0.2 秒跳过已处理内容）共同构成“低成本高频验证”的基础：变更当天就能看到指标反馈，问题在合并之前被拦住，详见 知识库生命周期。

有了缓存，评测迭代才能从“省着跑”变成“放开跑”，持续优化闭环才转得起来。评测指标的定义见 RAG 评测三层指标；门禁的落地设计见 回归门禁；哈希幂等与断点续跑见 知识库生命周期。

落地要点：磁盘嵌入缓存的四个工程细节

• 缓存键带模型一致性校验：换嵌入模型（如升级 Qwen3-Embedding-4B 的版本）后旧缓存必须失效，二进制缓存 + 模型一致性校验保证不会拿旧向量冒充新模型输出。
• 评测迭代零重复嵌入：DiskEmbeddingCache 让回归评测、控制变量实验（sweep）反复跑同一语料时不再重复调嵌入模型，这是评测闭环能高频运转的成本前提。
• 与增量 diff 配合：知识库只对变更块重新嵌入（SHA-256 幂等 + 稳定 Chunk ID），缓存命中率在大规模语料上决定更新窗口的长短。
• 缓存不完整要有兜底：静默降级为纯 BM25 检索，保证检索服务在缓存重建期间不断服。

嵌入缓存的收益放大器是生命周期治理——没有增量 diff，缓存只能加速全量重跑；有了增量 diff，缓存才把更新成本压到只与变更量成正比，见知识库生命周期治理。缓存命中后的检索链路，见混合检索。

常见问题 FAQ

Q1：重复嵌入为什么拖垮评测？

评测是改规则、重跑、看指标的循环，语料没变却每轮重新 embedding，算力全花在重复劳动上。语料越大越致命，门禁因太慢跑不勤，评测闭环名存实亡。

Q2：磁盘嵌入缓存怎么避免重复计算？

以内容哈希为键把向量存成二进制文件，相同内容下次直接读盘返回，跳过模型前向。向量是确定性的，缓存命中等价于重算，和知识库 SHA-256 幂等一脉相承。

Q3：换了 embedding 模型，缓存怎么办？

缓存做模型一致性校验，记录每条向量由哪个模型生成，模型或版本变更就自动失效旧缓存、重新计算，避免新旧语义空间混用导致指标莫名下滑。

Q4：缓存和回归门禁是什么关系？

缓存把重复嵌入成本降到零，门禁才敢每次变更都跑、每晚都跑，与幂等重跑共同支撑低成本高频验证，变更当天就能拿到指标反馈。