ArcANE: Do Role-Playing Language Agents Stay in Character at the Right Time?
작성자
카테고리
Empty
저자
Woojung Song, Nalim Kim, Sangjun Song, Chaewon Heo, Jongwon Lim, Yohan Jo
💡 개요
본 논문은 기존 롤플레잉 언어 에이전트(RPLA) 평가 방식이 캐릭터의 고정된 페르소나만을 다루거나 특정 시점의 지식만을 테스트하는 한계를 지적합니다. 이를 해결하기 위해, ArcANE이라는 새로운 벤치마크를 제안하며, 이는 이야기 전반에 걸쳐 캐릭터의 가치관, 동기, 관계 변화를 추적하는 'Arc'를 구축하고 RPLA의 응답이 스토리 단계에 얼마나 부합하는지를 평가합니다. 실험 결과, Arc를 활용했을 때 성능이 크게 향상되어, 단순히 관련 정보를 검색하는 것을 넘어 캐릭터 상태의 진화와 궤적 추적이 충실한 롤플레잉에 필수적임을 시사합니다.
🔑 시사점 및 한계
•
롤플레잉 언어 에이전트의 평가에서 캐릭터의 동적인 변화와 시간의 흐름에 따른 상태 추적의 중요성을 강조합니다.
•
ArcANE 벤치마크는 RPLA가 단순히 인-캐릭터 응답을 생성하는 것을 넘어, 내러티브에 따른 캐릭터의 진화를 얼마나 잘 반영하는지 측정할 수 있는 새로운 기준을 제시합니다.
•
제안된 ArcANE 벤치마크의 평가 시나리오를 더 다양화하고, 현실 세계의 복잡한 캐릭터 변화를 더 정교하게 모델링하는 연구가 필요합니다.