본 논문은 대규모 언어 모델(LLM)의 순서 민감성 취약성을 다룹니다. LLM은 여러 응용 분야에서 인상적인 성능을 보이지만, 입력 순서에 따라 결과가 달라지는 순서 편향(order bias)을 가지고 있습니다. 이는 객관식 문제 풀이 뿐 아니라, AI 파이프라인에서 다양한 모델의 출력을 비교하는 자동 평가자로서 LLM을 사용하는 경우에도 문제가 됩니다. 본 논문에서는 순열 불변성(permutation invariance)을 보장하는 새로운 아키텍처 Set-LLM을 제시합니다. Set-LLM은 새로운 어텐션 마스크와 집합을 위한 위치 인코딩을 사용하여 혼합 집합-텍스트 입력을 처리합니다. 이론적으로 불변성을 증명하고, 실험을 통해 Set-LLM이 효과적으로 학습될 수 있으며, 기존 모델과 유사하거나 향상된 성능을 유지하면서 순서 민감성을 제거함을 보여줍니다.
