COMPKE: Complex Question Answering under Knowledge Editing
Created by
Haebom
저자
Keyuan Cheng, Zijian Kan, Zhixian He, Zhuoran Zhang, Muhammad Asif Ali, Ke Xu, Lijie Hu, Di Wang
개요
본 논문은 대규모 언어 모델의 지식 편집 효과를 평가하기 위한 새로운 벤치마크 COMPKE를 제안합니다. 기존 벤치마크들이 주로 다단계 질의응답에 집중하여 실제 상황 적용 능력을 제대로 평가하지 못하는 한계를 지적하며, 실생활 시나리오를 반영한 11,924개의 복잡한 질문으로 구성된 COMPKE를 소개합니다. COMPKE를 활용하여 네 가지 지식 편집 방법을 평가한 결과, 모델에 따라 효과가 크게 달라짐을 보였습니다 (예: MeLLo는 GPT-4O-MINI에서 39.47%의 정확도를 달성했지만 QWEN2.5-3B에서는 3.83%로 급감). 또한 이러한 차이의 원인을 방법론적 및 모델 특성 측면에서 분석했습니다. 데이터셋은 GitHub에서 공개됩니다.
시사점, 한계점
•
시사점:
◦
실제 상황을 반영한 복잡한 질문으로 구성된 새로운 지식 편집 평가 벤치마크 COMPKE 제시
◦
기존 벤치마크의 한계점을 극복하고, 지식 편집 방법의 실제 적용 가능성을 더욱 정확하게 평가 가능
◦
다양한 대규모 언어 모델에서 지식 편집 방법의 효과 차이를 분석하여 모델별 특성 및 지식 편집 방법 개선에 대한 통찰 제공
