您当前的位置: > 详细浏览

对“元认知门控”类大语言模型幻觉治理方法的系统性证伪:跨四个模型的受控检验与三项方法学警示

请选择邀稿期刊:

Systematic Falsification of Metacognitive-Gating Approaches to Large Language Model Hallucination: A Controlled Study Across Four Models and Three Methodological Warnings

摘要:
[目的] 检验“元认知门控式动态检索”这一流行的大语言模型幻觉治理方法是否真能优于固定检索策略,并系统检验其所依赖的三个隐含假设:自评置信度与事实正确性正相关、该相关性经阈值调优后可支撑决策、分层组合具备可加性。
[方法] 构造两组语料:受控合成语料 A(40 家虚构公司、200 道问答,金标即语料原文)与真实去污染语料B(12 家美国上市公司的 SEC XBRL 原始申报值,按首次公开披露日构造三档污染度,另设实体替换组作为猜测基线)。在 4 个本地 4-bit 量化指令微调模型上运行 10 个实验臂,合计 20,800 次受控生成;对全部 102 个阈值做精确重放,并设同触发率随机门控对照与信号通道替换对照(语义熵、自一致性、logits、隐层探针)。
[结果] 相对全量检索基线,门控在四个模型上的幻觉率改善为 +37.0pt、0.0pt、+6.5pt、0.0pt,无一处改善,两个“持平”实为触发率 100% 的退化;全部 102 个阈值上最优解恒落端点。以“闭卷是否答对”为标签,自陈置信度的判别力 AUC 为 0.364、0.500、0.439、0.341,其中两个模型的 95% 置信区间整体低于 0.5;改用采样语义熵后层内 AUC 升至 0.886(1.5B)与 0.750(7B),说明失效的是自然语言自我报告,而非模型内部的不确定性信息。上下文锚定是唯一在四个模型上均不低于检索基线且不增加调用次数的方法。
[局限] 结论的适用范围限定于 1.5B–7B 开源指令微调模型与本文语料配置;训练期算法未检验;20B 远端批次与部署侧观察(每格 n=1)均为小样本,不构成统计推断。
[结论] 元认知门控式动态检索在本文受控条件下不构成对固定策略的改进,其失败可精确定位到“自陈整数”这一信号通道;该类自评信号的有效性必须在目标模型上先行验证,不能作为默认设计假设。

版本历史

[V1] 2026-09-19 21:35:35 ChinaXiv:202609.00364V1 下载全文
点击下载全文
预览
同行评议状态
待评议
许可声明
metrics指标
  •  点击量654
  •  下载量167
评论
分享
申请专家评阅