본 논문은 대규모 언어 모델(LLM)의 위치 편향 문제, 특히 입력의 중간에 있는 관련 정보를 활용하는 데 어려움을 겪는 "중간에 잃어버리는" 현상을 다룹니다. 기존 연구가 주로 하나의 관련 정보에 집중한 것과 달리, 본 논문은 여러 개의 관련 정보를 포함하는 상황을 고려하여 LongPiBench라는 새로운 벤치마크를 제시합니다. 5개의 상용 모델과 6개의 오픈소스 모델을 이용한 실험 결과, 대부분의 모델은 "중간에 잃어버리는" 문제에 대해서는 강건하지만, 관련 정보 간의 간격에 따른 상당한 편향이 존재함을 밝혔습니다. 이는 LLM의 성능 향상을 위해 위치 편향을 평가하고 줄이는 것이 중요함을 시사합니다.
시사점, 한계점
•
시사점:
◦
LongPiBench를 통해 여러 관련 정보가 있는 상황에서의 LLM 위치 편향 문제를 체계적으로 평가할 수 있음을 보여줌.
◦
기존 모델들이 "중간에 잃어버리는" 현상에는 강건하지만, 관련 정보 간 간격에 따른 편향이 존재함을 밝힘.
◦
LLM의 성능 향상을 위해 위치 편향 문제 해결의 중요성을 강조.
•
한계점:
◦
LongPiBench가 특정 유형의 위치 편향에만 집중되어 다른 유형의 편향은 고려하지 않을 수 있음.
