RoToR: Towards More Reliable Responses for Order-Invariant Inputs
Created by
- Haebom
Category
Empty
저자
Soyoung Yoon, Dongha Ahn, Youngwon Lee, Minkyu Jung, HyungJoo Jang, Seung-won Hwang
개요
본 논문은 리스트 형태의 입력에 대한 언어 모델의 위치 편향 문제(예: lost-in-the-middle)를 완화하는 방법을 제시합니다. 기존의 제로샷 순서 불변 언어 모델들의 실제 리스트 문제에 대한 성능 제한을 분석하고, 두 가지 한계점을 지적합니다. 첫째, 불변성을 강제하기 위해 위치 ID 할당을 수정함으로써 발생하는 훈련 및 추론 분포 불일치 문제와, 둘째, 실제 리스트 문제에서 순서 불변 입력과 순서 민감 입력이 혼합될 때 적응하지 못하는 문제입니다. 이를 해결하기 위해, 본 논문은 위치 ID 수정을 최소화하여 순서 불변 입력에 대한 제로샷 불변 LM인 RoToR과, 순서 불변 및 순서 민감 입력 모두를 처리하는 적응형 프레임워크인 Selective Routing을 제안합니다. Lost in the middle, Knowledge Graph QA, MMLU 벤치마크에서 RoToR과 Selective Routing 조합이 제로샷 방식으로 실제 리스트 입력 작업을 효과적으로 처리함을 보여줍니다.
시사점, 한계점
•
시사점:
◦
위치 ID 수정을 최소화하여 제로샷 순서 불변 LM의 실용성을 높이는 RoToR 모델 제시.
◦
순서 불변 및 순서 민감 입력 모두를 효과적으로 처리하는 적응형 프레임워크인 Selective Routing 제안.
◦
제로샷 방식으로 다양한 리스트 입력 작업에서 우수한 성능을 달성.
◦
기존 제로샷 순서 불변 LM의 한계점을 명확히 제시하고 이를 극복하는 방안 제시.
•
한계점:
◦
제안된 방법의 일반화 성능에 대한 추가적인 실험 필요.
◦
다양한 종류의 리스트 입력 및 문제 유형에 대한 광범위한 실험 필요.
◦
RoToR과 Selective Routing의 상호 작용에 대한 더 자세한 분석 필요.
◦
극도로 긴 리스트 입력에 대한 성능 평가 필요.
