본 논문은 대규모 언어 모델(LLM)의 위치 편향 문제, 특히 입력의 중간에 위치한 관련 정보를 활용하는 데 어려움을 겪는 "중간에 잃어버리는(lost in the middle)" 현상에 초점을 맞춥니다. 기존 연구가 주로 단일 관련 정보에 집중한 것과 달리, 본 논문은 여러 개의 관련 정보가 존재하는 실제 응용 환경을 고려하여 LongPiBench라는 새로운 벤치마크를 제시합니다. 5개의 상용 모델과 6개의 오픈소스 모델을 대상으로 실험을 수행한 결과, 대부분의 모델은 "중간에 잃어버리는" 현상에 대해서는 강건하지만, 관련 정보 간의 간격에 따른 상당한 위치 편향이 존재함을 밝혔습니다. 이를 통해 LLM의 성능 향상을 위해 위치 편향을 평가하고 줄이는 것이 중요함을 강조합니다.
시사점, 한계점
•
시사점:
◦
LongPiBench라는 새로운 벤치마크를 통해 여러 관련 정보가 포함된 입력에 대한 LLM의 위치 편향 문제를 효과적으로 평가할 수 있음을 보여줌.
◦
기존 모델들이 "중간에 잃어버리는" 현상에는 강건하지만, 관련 정보 간 간격에 따른 위치 편향이 존재함을 밝혀냄으로써 LLM 개발 방향을 제시.
