본 논문은 다중 선택형 문제에서 모든 정답을 찾는 능력 평가를 위한 새로운 벤치마크 SATA-BENCH를 제시합니다. 기존의 대규모 언어 모델(LLM)들은 단일 정답 문제에 집중되어 왔으나, 실제 문제는 여러 정답을 요구하는 경우가 많습니다. SATA-BENCH는 독해, 법률, 생의학 등 다양한 분야의 Select All That Apply (SATA) 질문으로 구성되어 있으며, 27개의 오픈소스 및 독점 모델을 평가한 결과, 최고 성능 모델조차도 정확도가 41.8%에 불과함을 밝혔습니다. 이러한 성능 저하는 선택 편향(선택지 내용과 상관없이 특정 선택지를 선호하는 경향)과 개수 편향(정답 개수 예측 실패)으로 인한 것임을 밝히고, 이를 해결하기 위해 토큰 디바이싱과 적응적 임계값을 결합한 새로운 디코딩 전략인 Choice Funnel을 제안합니다. Choice Funnel은 기존 방법보다 정확도를 최대 29% 향상시키고 추론 비용을 64% 이상 절감합니다. 본 논문은 현존 LLM의 근본적인 한계를 드러내고 다중 정답 추론 향상을 위한 새로운 프레임워크를 제시하며, SATA-BENCH와 Choice Funnel을 공개합니다.
