본 논문은 대규모 언어 모델(LLM)의 다지선다형 문제(MCQ) 해결 능력 향상을 위한 새로운 방법인 옵션 ID 기반 제거 전략(PoE<sub>ID</sub>)을 제안합니다. 기존 PoE 방법들의 한계점(잘못된 옵션 직접 식별의 어려움 또는 [MASK] 대체의 비효율성)을 극복하기 위해, LLM의 토큰 편향을 해소하는 디바이싱 기법을 통합한 PoE<sub>ID</sub>를 제시합니다. PoE<sub>ID</sub>는 두 가지 전략, 즉 로그 확률 평균 임계값 이하의 옵션을 제거하는 PoE<sub>ID</sub><sup>log</sup>와 가장 낮은 ID 확률을 가진 옵션을 반복적으로 제거하는 PoE<sub>ID</sub><sup>seq</sup>를 포함합니다. 6개의 LLM과 4개의 다양한 데이터셋을 사용한 실험 결과, 특히 옵션이 많은 데이터셋에서 PoE<sub>ID</sub>, 특히 PoE<sub>ID</sub><sup>log</sup>가 제로샷 및 퓨샷 MCQ 성능을 크게 향상시키는 것을 보여줍니다. 분석 결과 PoE<sub>ID</sub><sup>log</sup>는 LLM이 정답을 선택하는 데 대한 신뢰도를 높이고, [MASK] 대체 방식보다 우수한 성능을 보입니다. 또한, LLM이 잘못된 옵션을 직접 식별하는 데 어려움을 겪는 이유를 LLM의 고유한 결함에서 찾고 있습니다.
