Order Matters: Investigate the Position Bias in Multi-constraint Instruction Following
Created by
- Haebom
Category
Empty
저자
Jie Zeng, Qianyu He, Qingyu Ren, Jiaqing Liang, Yanghua Xiao, Weikang Zhou, Zeye Sun, Fei Yu
개요
본 논문은 다중 제약 조건이 포함된 실제 지침에 대한 기존 대규모 언어 모델(LLM)의 어려움을 다룹니다. LLM이 제약 조건 순서에 따라 성능 변동을 보이는 현상을 관찰하고, 이러한 위치 편향 문제를 체계적으로 조사한 연구가 부족함을 지적합니다. 새로운 어려움 분포 지수(CDDI)를 사용하여 제약 조건의 어려움 분포를 정량적으로 측정하는 탐색 작업을 설계하여, LLM이 "어려운 것에서 쉬운 것" 순서로 제약 조건을 제시받았을 때 더 나은 성능을 보임을 실험적으로 확인합니다. 이러한 선호도는 서로 다른 아키텍처 또는 매개변수 크기를 가진 LLM에 일반화될 수 있으며, LLM의 주의 메커니즘과 제약 조건 순서 간의 상관관계에 대한 직관적인 통찰력을 제공하는 설명 연구도 수행합니다. 코드와 데이터셋은 공개적으로 제공됩니다.
시사점, 한계점
•
시사점: 다중 제약 조건이 있는 지침을 따르는 LLM의 성능 향상을 위한 제약 조건 순서의 중요성을 제시하고, "어려운 것에서 쉬운 것" 순서가 효과적임을 밝힘. CDDI를 활용한 제약 조건 어려움 정량화 방법 제시. LLM의 주의 메커니즘과 제약 조건 순서 간의 상관관계에 대한 통찰력 제공. 공개된 코드와 데이터셋을 통한 연구 재현성 확보.
•
한계점: CDDI의 일반화 가능성 및 다양한 유형의 제약 조건과 지침에 대한 적용 가능성에 대한 추가 연구 필요. "어려운 것에서 쉬운 것" 순서의 최적화 및 자동화에 대한 추가 연구 필요. 제약 조건의 어려움을 정의하는 주관성 및 객관성 확보에 대한 논의 필요.
