본 논문은 대규모 언어 모델(LLM)의 문장 단순화 능력 평가에 있어 기존 자동 평가 지표와 인간 평가 방식의 한계를 지적하고, 이를 개선하기 위한 새로운 인간 평가 프레임워크를 제안합니다. 기존 자동 평가 지표의 LLM 문장 단순화 평가 적합성에 대한 불확실성과, 기존 인간 평가 방식의 표면적인 평가 또는 과도한 세부 평가로 인한 신뢰성 저하 문제를 해결하기 위해, 오류 기반 인간 주석 프레임워크를 설계하여 GPT-4, Qwen2.5-72B, Llama-3.2-3B 등 다양한 크기의 LLM을 평가했습니다. 평가 결과, LLM은 기존 최고 성능 모델보다 오류가 적은 단순화 결과를 생성하지만, 어휘적 바꿔쓰기 등에서 여전히 한계를 보이며, 기존 자동 평가 지표는 고성능 LLM이 생성한 고품질 단순화 결과를 충분히 감지하지 못하는 것으로 나타났습니다.
