结论先行：Cross-Encoder 精排能明显提升相关性，尤其擅长修正向量检索“语义近但答非所问”的误召回。但它要为每个候选做一遍联合编码，延迟随候选数线性增长，因此只能用在“初排之后、取 Top-N 之前”的短列表上，而不是对所有块精排。
一、精排解决什么
先说清楚两种编码器的差别。Bi-Encoder（向量检索）把 query 和文档分别编码成向量，再算相似度，速度可以做得很高，但两者从头到尾没有见过面，词与词之间的交互信息全部丢失。典型症状是召回回来的块“语义接近却答非所问”：你问某项指标的统计口径，它给你一篇泛泛提到该指标名词的行业综述。
Cross-Encoder 走的是另一条路：把 query 和候选拼成一条输入做联合编码，注意力机制让模型直接看到“问题里的词在候选里怎么出现”，从而捕捉细粒度交互，把真正相关的那几条顶到最前面。两者的分工由此确定——Bi-Encoder 可以离线把全库编码好，在线只算一次 query；Cross-Encoder 没法预计算，只能在线现算。实践里收益最确定的组合，是在 BM25 + Dense 向量加权 RRF 融合（1.6 : 1.0）之后接一级精排：粗排保证召回面，精排保证排序质量。
二、延迟从哪来
精排的代价很直观：每个候选都要独立做一次前向推理，候选翻倍、耗时翻倍，延迟近似随候选数线性增长。候选从五十个扩到一百个，召回端几乎无感，精排耗时却近似翻倍。如果对全库几十万个块精排，单条查询的延迟会膨胀到不可接受，线上链路根本跑不起来。
所以正确用法是把精排当成“短列表裁判”：先用 BM25 + 向量 + RRF 初排出几十个候选，再只对这几十个做 Cross-Encoder 精排，最后取前 N 送入生成。候选列表的规模就是延迟预算的旋钮——想压延迟就收窄短列表，想提精度就放宽，代价清晰可算。
| 做法 | 相关性 | 延迟 |
|---|---|---|
| 仅向量 | 中 | 低 |
| +RRF | 较高 | 低 |
| +Cross-Encoder | 高 | 中（仅候选数） |
三、什么时候值得
判断标准有两条：候选质量是否参差，以及最终回答对“前几个块是否真正相关”是否敏感。合规、法务问答是典型场景——Top-5 里混进一条无关块，答案的可信度就塌了，后面的生成模型再强也救不回来。这类场景精排收益最大，值得固定在链路里。
反过来，如果语料小、初排候选本就干净，精排的边际收益有限，省下的延迟不如留给生成端。端到端看预算更直观：某投研问答系统里，针对 000002 的十个问题端到端共 4.6 秒，平均单题不到半秒——精排的耗时必须被压在这个量级之内，才配留在线上链路。换句话说，精排不是免费的增益开关，而是用延迟买排序质量，预算要花在刀刃上。
四、用评测决定
上不上精排不该拍脑袋，也不该只凭一次演示印象。用检索级指标（HitRate@K / MRR / NDCG@K）对“有精排 / 无精排”做 A/B 对比，看指标提升是否覆盖延迟成本；之后每次调整切片或精排参数，都让评测自动重跑一遍，甚至把 NDCG@K 不达标设为发布门禁。这正是 回归门禁 的价值——让精排从“感觉有用”变成“数据证明有用”。
精排是混合检索链条的最后一环。初排与融合的做法见 混合检索；中文分词的底层设计见 CJK bigram；评测方法与指标定义见 RAG 评测三层指标。
选型建议：精排层的三个判断依据
- 候选集规模：RRF 融合后候选仍有几百条时，Cross-Encoder 精排的收益最大；候选只有十几条时，精排的边际收益低，延迟成本却照付。
- 查询区分度：查询词与文档用词差异大（口语问句 vs 书面文档）时，双塔模型的分数区分度不足，精排层用交叉编码细粒度交互能明显拉开相关性与噪音的差距。
- 延迟预算：000002 十问端到端 4.6 秒的实测说明，精排放在分层生成之前、配合时间过滤把候选压到百级以内，整条链路仍然在秒级完成。
精排不是孤立层：它的输入质量取决于上游——混合检索的融合权重、时间过滤、机构锚定都决定候选集的纯度，见混合检索：BM25 与 Dense 的融合权重；精排之后效果是否真的变好，要靠评测指标验证，见RAG 评测三层指标。
常见问题 FAQ
Q1：Cross-Encoder 精排解决什么问题？
它修正向量检索“语义近但答非所问”的误召回。把 query 和候选拼成一条输入联合编码，捕捉细粒度交互，把真正相关的块顶到最前面，通常接在 RRF 融合之后。
Q2：为什么精排会带来延迟？
它对每个候选独立做一次前向推理，延迟近似随候选数线性增长。对全库精排不可行，只能对初排后的几十个候选做，候选列表规模就是延迟预算的旋钮。
Q3：正确的精排用法是什么？
先用 BM25 加向量加 RRF 初排出几十个候选，只对这批做 Cross-Encoder 精排，取前 N 送入生成。既吃到精排红利，又把总延迟控制在预算内。
Q4：什么场景值得上精排？
候选质量参差、且回答对前几个块是否真正相关高度敏感的场景收益最大，如合规与法务问答；语料小、候选干净时边际收益有限，建议用检索指标 A/B 后再决定。
需要搭建企业级 RAG 知识库？了解丑梨AI
私有化部署的 RAG 数据工程基座：解析、清洗、脱敏、压缩、切片、治理、评测一站式流水线，全本地推理，数据不出域，单机可部署。