본 논문은 대규모 언어 모델(LLM)의 개념적 추론 능력을 평가하기 위한 새로운 벤치마크인 CK-Arena를 제시합니다. CK-Arena는 언더커버 게임을 기반으로 한 다중 에이전트 상호 작용 게임으로, LLM이 부분적인 정보를 바탕으로 개념의 경계를 설명하고, 구분하고, 추론하도록 설계되었습니다. 기존 벤치마크가 사실 회상과 단일 작업에 집중하는 것과 달리, CK-Arena는 상호 작용 환경에서 개념적 추론 능력을 평가하며, LLM의 개념적 지식 이해 수준이 범주에 따라 크게 다르며, 매개변수 크기나 일반적인 모델 성능과는 엄격하게 일치하지 않음을 실험 결과를 통해 보여줍니다. 데이터와 코드는 프로젝트 홈페이지(https://ck-arena.site)에서 확인할 수 있습니다.
시사점, 한계점
•
시사점:
◦
LLM의 개념적 추론 능력을 평가하는 새로운 벤치마크인 CK-Arena를 제시.
◦
상호 작용 환경에서 LLM의 개념적 추론 능력을 실제적인 방식으로 평가 가능.
◦
LLM의 개념적 지식 이해 수준이 범주에 따라 다르다는 것을 밝힘.
◦
LLM의 매개변수 크기와 일반적인 모델 성능이 개념적 추론 능력과 직접적으로 상관관계가 없다는 것을 시사.
•
한계점:
◦
CK-Arena가 언더커버 게임을 기반으로 하므로, 게임의 특성에 따른 한계가 존재할 수 있음.
◦
실제 세계의 모든 상황을 완벽하게 반영하지 못할 수 있음.
◦
특정 범주에 대한 평가에 치우쳐, LLM의 개념적 추론 능력에 대한 전반적인 이해에 제한이 있을 수 있음.
