Reflection-Bench: Evaluating Epistemic Agency in Large Language Models
Created by
Haebom
저자
Lingyu Li, Yixu Wang, Haiquan Zhao, Shuqi Kong, Yan Teng, Chunbo Li, Yingchun Wang
개요
본 논문은 AI 에이전트의 인지 엔진으로서 대규모 언어 모델(LLMs)의 신뢰성과 효율성이 그 고유한 인식적 에이전시(epistemic agency)에 크게 의존한다는 점을 강조하며, 아직까지 미흡한 연구 분야임을 지적합니다. 인식적 에이전시는 역동적인 환경에 대한 믿음을 유연하게 구성, 적응 및 모니터링하는 능력으로, 특정 도구, 모듈 또는 응용 프로그램과는 독립적인 기본 모델 수준의 능력입니다. 논문에서는 예측, 의사결정, 인지, 기억, 반사실적 사고, 신념 갱신, 메타-반성의 7가지 상호 연관된 차원으로 구성된 인식적 에이전시의 전체적인 과정을 특징짓고, 장기적인 관련성과 데이터 유출 최소화를 목표로 하는 7가지 과제로 구성된 인지 심리학에서 영감을 받은 벤치마크인 Reflection-Bench를 제안합니다. 세 가지 프롬프팅 전략을 사용하여 16개 모델을 포괄적으로 평가함으로써 명확한 3단계 성능 계층 구조와 현재 LLMs의 상당한 한계, 특히 메타-반성 능력의 한계를 확인했습니다. 최첨단 LLMs는 인식적 에이전시의 기본적인 징후를 보여주지만, 핵심 인지 기능 향상, 기능 간 조정 개선, 적응적 처리 메커니즘 개발 등 여러 유망한 연구 방향을 제시합니다. 코드와 데이터는 https://github.com/AI45Lab/ReflectionBench 에서 이용 가능합니다.
