본 논문은 대규모 언어 모델(LLM)의 순서 의존성 문제를 해결하기 위해, 집합 기반 프롬프팅(SBP)을 미세 조정 과정에 통합하는 새로운 전략을 제시합니다. SBP는 토큰의 순서 정보를 제거하여 위치 편향을 완화하는 기법입니다. 기존 SBP 적용은 분포 외 입력 형식을 유발하여 기존 성능을 저하시키는 문제가 있었는데, 본 논문에서는 SBP를 미세 조정 과정에 통합하여 이 문제를 해결합니다. 실험 결과, 다양한 다중 선택 문제(MMLU, CSQA, ARC Challenge)에서 SBP 미세 조정이 정확도와 답변 순서 변경에 대한 강건성을 향상시키는 동시에 일반적인 언어 모델링 능력을 유지함을 보여줍니다. 더 나아가 순서 불변 모델링의 의미와 공정하고 일관성 있는 LLM 구축을 위한 미래 방향을 논의합니다.
