First Steps Towards Overhearing LLM Agents: A Case Study With Dungeons & Dragons Gameplay
Created by
Haebom
저자
Andrew Zhu, Evan Osgood, Chris Callison-Burch
개요
본 논문은 기존의 대화형 LLM 에이전트와는 다른 새로운 패러다임인 "엿듣기 에이전트(overhearing agents)"를 제시한다. 엿듣기 에이전트는 대화에 직접 참여하지 않고, 사람 간의 대화를 "엿듣다"가 사용자를 돕기 위한 백그라운드 작업을 수행하거나 제안을 제공한다. 본 연구는 던전 앤 드래곤 게임 플레이라는 맥락에서 대규모 다중 모달 오디오-언어 모델을 엿듣기 에이전트로 사용하여 던전 마스터를 지원하는 심층 연구를 수행한다. 인간 평가를 통해 이러한 에이전트의 유용성을 검토하고, 일부 대규모 오디오-언어 모델이 암시적인 오디오 단서를 사용하여 엿듣기 에이전트 작업을 수행하는 능력이 있음을 발견했다. 마지막으로, 엿듣기 에이전트 패러다임에 대한 추가 연구를 지원하기 위해 Python 라이브러리와 프로젝트 코드를 공개한다 (https://github.com/zhudotexe/overhearing_agents).