First Steps Towards Overhearing LLM Agents: A Case Study With Dungeons & Dragons Gameplay
Created by
Haebom
저자
Andrew Zhu, Evan Osgood, Chris Callison-Burch
개요
본 논문은 기존의 대화형 LLM 에이전트와 달리, 인간 간의 대화를 '엿듣고'(overhearing) 배경 작업을 수행하거나 사용자에게 제안을 제공하는 '엿듣는 에이전트(overhearing agents)' 패러다임을 제시합니다. 던전 앤 드래곤 게임 플레이를 통해 이 패러다임을 탐구하며, 대규모 다중 모달 오디오-언어 모델을 엿듣는 에이전트로 활용하여 게임 마스터를 지원하는 심층 연구를 수행했습니다. 인간 평가를 통해 이러한 에이전트의 유용성을 검토하고, 일부 대규모 오디오-언어 모델이 암시적인 오디오 신호를 사용하여 엿듣는 에이전트 작업을 수행하는 능력을 보임을 확인했습니다. 마지막으로, 엿듣는 에이전트 패러다임에 대한 추가 연구를 지원하기 위해 Python 라이브러리와 프로젝트 코드를 공개합니다 (https://github.com/zhudotexe/overhearing_agents).