본 논문은 대규모 언어 모델(LLM)의 지식 편집 효율성을 평가하는 새로운 벤치마크 COMPKE를 제안합니다. 기존 벤치마크가 주로 다단계 질의응답에 집중하여 실제 상황 적용 능력을 제대로 평가하지 못하는 한계를 지적하며, 11,924개의 실생활 상황을 반영한 복잡한 질문들을 포함하는 COMPKE를 통해 복잡한 추론, 일대다 관계, 다단계 논리적 교차 등을 요구하는 질문에 대한 LLM의 지식 활용 능력을 평가합니다. 네 가지 지식 편집 방법을 GPT-4O-MINI와 QWEN2.5-3B 모델에 적용하여 평가한 결과, 모델과 지식 편집 방법에 따라 성능 차이가 크게 나타남을 보여줍니다 (예: MeLLo는 GPT-4O-MINI에서 39.47%의 정확도를 보였으나 QWEN2.5-3B에서는 3.83%로 급감). 또한 이러한 성능 차이의 원인을 방법론적 및 모델 특성적 관점에서 분석합니다. 데이터셋은 GitHub에서 공개됩니다.
