面向大语言模型的行为测量：机器心理行为量表的构建、施测与效力检验
Behavioral Measurement for Large Language Models: Construction, Administration, and Validity Checking of the Machine Psychometrics Behavior Inventory
-
作者：
刘海熠
1
-
作者单位：
- 通讯作者：
刘海熠
Email:3055226551@qq.com
-
提交时间：2026-10-07 09:29:02
摘要: 把人类心理学量表直接移植到大语言模型（LLM）上存在系统性风险。本文论证该移植路径存在五项失效——条目独立性假设失效、自陈式条目无指称对象、形式敏感性为主效应而非噪声、难度分布对当代模型系统性偏易、被测总体性质不同——并据此提出机器心理行为量表MPBI：按测量学地位分五层组织、含 12 个施测维度与 1 个派生维度的 LLM 原生量表。MPBI 规定条目独立施测、全程行为锚定、平行形式内建、难度锚校准，并以重测信度与平行形式信度替换 Cronbach's α。在 5 个模型上完成 7 个维度的首次施测（480 条判断记录）后，量表内建的测量效力自检与形式一致性检查独立识别出 5 个不可解释的维度：3 个因无处理基线饱和于 1.000 而落在校准窗外，2 个因平行形式一致率仅 0.33–0.83 而只能作形式限定解释。来源监控维度构成关键对照——同一批模型在语义可区分材料上得 1.000，在语义重叠材料上仅 0.562。本文另识别出两项施测缺陷（计分键未随标签对调同步重映射、呈现顺序未随机化），二者产生的伪结果均恰好符合研究者的先验预期，只能通过捷径审计发现。据此提出 10 条强制报告条款，并声明 MPBI 当前不具备可用的信效度证据
版本历史
| [V1] |
2026-10-07 09:29:02 |
ChinaXiv:202610.00065V1
|
下载全文 |
相关信息
待评议
点击量
下载量
