每日 Arxiv

本页面整理了世界各地发表的人工智能相关论文。
本页面使用 Google Gemini 汇总而成，并以非盈利为基础运营。
论文版权归作者及相关机构所有，分享时请注明出处。

社会推理游戏中法学硕士的细粒度和主题评估

Created by
  • Haebom

作者

Kim Byungjun Kim、Dayeon Seo、Minju Kim、Bugeun Kim

大纲

为了探究大规模语言模型 (LLM) 是否能够支持隐藏通信，研究人员以社交推理游戏 (SDG) 为实验环境。先前的研究表明，LLM 的评估存在两个局限性：(1) 使用基于整体游戏结果的粗粒度指标；(2) 非结构化错误分析无法提供支持评估结果的洞见。为了解决这些局限性，本研究提出了一种微观系统性方法。具体而言，我们引入了六个细粒度指标，并进行了主题分析，以识别导致 LLM 性能下降的四个关键推理失败因素。

Takeaways, Limitations

•
Takeaways：
◦
使用 LLM 进行隐藏通信研究的新评估方法
◦
通过详细的指标和系统误差分析，更准确地评估LLM的表现。
◦
识别法学硕士（LLM）隐藏沟通中的关键推理失败
•
Limitations：
◦
此内容仅基于研究论文的摘要，因此可能与实际论文的 Takeaways 和 Limitations 有所不同。
◦
缺乏具体细节和实验结果的信息
👍
Made with Slashpage