每日 Arxiv

本页面整理了世界各地发表的人工智能相关论文。
本页面使用 Google Gemini 汇总而成,并以非盈利为基础运营。
论文版权归作者及相关机构所有,分享时请注明出处。

使用具有特质反应中介的虚拟受访者进行心理测量项目验证

Created by
  • Haebom

作者

林成吉、宋佑正、李恩珠、赵耀汉

法学硕士量表开发:虚拟受访者模拟框架

大纲

本文强调,随着用于评估大规模语言模型 (LLM) 特征的心理测量调查日益增多,开发适用于 LLM 的可扩展问卷生成系统至关重要。尤其需要确保构建效度,即验证生成的问卷是否真正衡量了预期特征。虽然传统上需要大规模且成本高昂的人工数据收集,但本研究提出了一个使用 LLM 模拟虚拟受访者的框架。该框架考虑了参数,以解释导致对具有相同特征的调查问卷产生不同反应的因素。通过模拟具有不同参数的受访者,该框架可以识别出能够有效衡量预期特征的问卷问卷。基于三种心理特质理论(Big5、Schwartz 和 VIA)的实验结果表明,所提出的参数生成方法和模拟框架能够有效识别具有高效度的问卷。LLM 能够根据特征定义生成合理的参数,并模拟受访者行为以验证问卷的效度。本研究的问题表述、指标、方法和数据集为经济高效的问卷开发以及更深入地理解 LLM 中的人工调查响应模拟指明了新的方向。

Takeaways,Limitations

Takeaways:
基于法学硕士的虚拟受访者模拟表明了具有成本效益的问卷开发的潜力。
利用参数概念确保问卷项目的结构效度
证明适用于各种心理特质理论,包括 Big5、Schwartz 和 VIA。
为 LLM 的调查响应模拟功能提供了新的见解。
通过公开研究中使用的数据集和代码来支持后续研究。
Limitations:
需要进一步研究来确定虚拟受访者模拟的准确性及其与真实人类反应的差异。
本实验仅限于某一特定的心理学理论,推广到其他理论和领域还需要进一步验证。
结果可能因 LLM 表现和培训数据而异。
参数选择和模拟设置中的主观性和潜在偏见
👍