100-LongBench: Are de facto Long-Context Benchmarks Literally Evaluating Long-Context Ability?
Created by
Haebom
저자
Wang Yang, Hongye Jin, Shaochen Zhong, Song Jiang, Qifan Wang, Vipin Chaudhary, Xiaotian Han
개요
본 논문은 기존 장문 맥락 평가 벤치마크의 두 가지 주요 단점, 즉 장문 맥락 성능과 모델의 기본 능력을 분리하는 적절한 지표 부족과 고정된 입력 길이로 인한 모델 적용성 제한 및 성능 저하 시점 파악의 어려움을 지적합니다. 이를 해결하기 위해 길이 제어가 가능한 장문 맥락 벤치마크와 기본 지식과 진정한 장문 맥락 능력을 분리하는 새로운 지표를 제시합니다. 실험 결과는 제시된 방법의 우수성을 보여줍니다. 핵심은 장문 맥락 이해 능력 평가를 위한 새로운 벤치마크 및 지표를 제안하여, 모델 간의 공정한 비교와 성능 저하 시점 파악을 가능하게 한다는 점입니다.
시사점, 한계점
•
시사점:
◦
기존 장문 맥락 평가 벤치마크의 한계점을 명확히 제시하고 개선된 방법을 제안함으로써, LLM의 장문 맥락 이해 능력 평가의 정확성과 신뢰성을 높였습니다.
◦
길이 제어 가능한 벤치마크와 새로운 지표를 통해 다양한 모델의 성능을 효과적으로 비교하고 분석할 수 있게 되었습니다.
