본 논문은 대규모 언어 모델(LLM)의 문장 단순화 능력 평가에 있어 기존 자동 평가 지표 및 인간 평가 방식의 한계를 지적하고, 이를 개선하기 위한 오류 기반 인간 평가 프레임워크를 제시한다. GPT-4, Qwen2.5-72B, Llama-3.2-3B 등 다양한 크기의 LLM들을 대상으로 실험을 수행하여 각 모델의 문장 단순화 성능을 분석하고, 기존 자동 평가 지표들의 효용성을 메타 평가한다. 실험 결과, GPT-4가 기존 최고 성능 모델보다 오류가 적지만, 어휘적 바꿔쓰기에는 어려움을 보이는 등 LLM의 한계를 확인하고, 기존 자동 평가 지표들이 고성능 LLM의 고품질 단순화 결과를 제대로 평가하지 못함을 밝힌다.
