元认知门控式动态检索的领域相关收益边界与可迁移诊断框架
Controlled Evaluation of Metacognitive-Gated Retrieval: Domain-Dependent Payoff Boundaries and a Transferable Diagnostic Framework
-
作者：
刘海熠
1
-
作者单位：
- 通讯作者：
刘海熠
Email:3055226551@qq.com
-
提交时间：2026-09-25 18:38:17
摘要: 元认知门控式动态检索广泛用于大语言模型幻觉治理，但其依赖三个未经系统检验的假设：自评置信度与事实正确性正相关（H1）、阈值调优后可用于决策（H2）、与上下文锚定分层组合具备可加性（H3）。本文在 4 个中小开源指令模型（Qwen2.5-1.5B/3B/7B、Llama-3.2-3B）上，以全量检索为基线，在合成虚构语料与按首次公开披露日分层的真实 SEC 去污染语料上做全阈值精确重放（t=0…101），并配同触发率随机对照与 oracle 上界。结果表明：自陈置信度对"是否知道"的判别力 AUC 仅 0.341–0.500（两个模型显著反向），102 个阈值中无一内点同时优于两个端点；换用基于采样的语义熵后层内判别力升至0.886/0.750，但端到端仍不超越"总是检索"。以信息论形式化：门控优于"总是检索"当且仅当自信作答精度高于检索精度（定理 1），而自陈信道对"是否知道"的互信息仅 0.000–0.069 bit，瓶颈在读出环节而非带宽（定理 2）。然而该失效是域依赖的：在开放域事实问答（TriviaQA）上，同一自陈置信度确有判别力（AUC 0.64–0.69），且门控在检索不完美的开放域稳定优于 RAG（跨 14B 至满血模型七组对照全胜）。据此本文给出领域无关的门控"诊断—部署"框架，并揭示两项独立的方法学缺陷——弃答置信度的指代歧义与置信度派生指标的跨运行不可复现。本文建议一切置信度派生指标均应报告 k/n。
版本历史
| [V1] |
2026-09-25 18:38:17 |
ChinaXiv:202609.00353V1
|
下载全文 |
相关信息
待评议
点击量
下载量
