您当前的位置: > 详细浏览

博弈论式与哲学式提示词对自陈置信度与幻觉的作用:跨域受控评估

请选择邀稿期刊:

Rewriting the Stakes: A Controlled Evaluation of Game-Theoretic and Philosophical Prompts on Self-Reported Confidence and Hallucination

摘要: 提示词措辞的效应量可与治理方法相当,但用于调节大语言模型自陈置信度与弃答行为的博弈论式提示词(计分规则、对抗审计)与哲学式提示词(认识论谦逊)尚缺乏受控检验。本文在四个公开数据集(TruthfulQA、FinQA、SelfAware 不可答子集、FinanceBench)与一个自建合成财务语料上,以 DeepSeek-R1 为主被试、Qwen3-32B 及另外四个模型家族为对照,构建 7 个提示词配置的配对设计,测量置信度水平、离散度、判别力与幻觉率;判分采用三判分器多数票(Cohen κ=0.57–0.95,Krippendorff α=0.56–0.97),并以 70 条人工金标校验(κ=0.96);合计 3366 次推理调用与 8770 次判分调用。结果表明:(1) 博弈论提示词几乎不改变置信度均值(Δ≤3.8 pt,p≥0.09),却重塑其表达形式——对抗审计使 12/30 题的置信度行切换输出语言、标准差翻倍;扩样至 n=150 后仅“水平下移”经受住 FDR 校正(G1、G2 分别压低 2.5 pt 与 5.7 pt,q=0.0035),而小样本阶段的判别力改善消失(配对 ΔAUC=0.000,p=0.98);(2) Brier 计分规则可被策略性利用:闭卷不可知域中模型以低置信对冲猜数,幻觉率由 6.7% 升至 53.3%;叠加哲学框架后幻觉清零,代价是弃答率 76.7%、正确率归零;(3) 证据在手时提示词差异消失(24–27/30 对中性 25/30),而幻觉答案的置信度仍达 87.5–95.0;(4) 直接改变弃答的支付规则(免费改为记 0 分)使闭卷幻觉率由 6.7% 升至 100.0%(30/30)、数值承诺率由 3.3% 升至 83.3%,为承诺成本重定价提供因果证据;(5) 在 FinanceBench(n=100)上,中性检索的幻觉率为 31%,把哲学+计分叠加在同一份证据之上可降至 17%、正确率由 69% 升至 80%(配对净 +11,McNemar p=0.027);把它当作检索失败后的闭卷降级方案则救回 0 个正确答案,且在检索基线本已可靠时收益消失(FinQA 净 −1)。本文据此提出承诺成本重定价机制、给出价值条件矩阵,并补充门控理论中“闭卷精度为零”的第三类域边界。所有结论限定于本文所测的模型、数据集、温度与提示词。

版本历史

[V1] 2026-09-29 02:41:21 ChinaXiv:202609.00518V1 下载全文
点击下载全文
预览
同行评议状态
待评议
许可声明
metrics指标
  •  点击量854
  •  下载量190
评论
分享
申请专家评阅