If an LLM Were a Character, Would It Know Its Own Story? Evaluating Lifelong Learning in LLMs

Created by

Haebom

저자

Siqi Fan, Xiusheng Huang, Yiqun Yao, Xuezhi Fang, Kang Liu, Peng Han, Shuo Shang, Aixin Sun, Yequan Wang

💡 개요

대규모 언어 모델(LLM)이 여러 차례의 상호작용을 통해 일관된 캐릭터와 같은 행동을 보이지만, 인간과 달리 상태를 유지하지 못하는 한계가 있습니다. 본 연구는 LLM의 지속 학습 능력을 평가하기 위해 내러티브 구조와 캐릭터 상호작용이 풍부한 두 가지 에피소드 데이터셋(햄릿, 합성 스크립트)으로 구성된 LIFESTATE-BENCH를 제안합니다. 실험 결과, 비모수적 방법이 상태 기반 학습 관리에서 모수적 방법을 크게 능가했지만, 모든 모델이 상호작용이 길어질수록 치명적 망각 문제를 겪는 것으로 나타났습니다.

🔑 시사점 및 한계

•

LLM의 지속 학습 능력을 평가하기 위한 새로운 벤치마크(LIFESTATE-BENCH)를 제시합니다.

•

비모수적 접근 방식이 LLM의 상태 기반 학습에 더 효과적임을 보여줍니다.

•

모든 LLM이 장기적인 상호작용에서 치명적 망각 문제를 겪어 지속 학습 분야의 추가 연구가 필요함을 시사합니다.

PDF 보기

Made with Slashpage