본 논문은 대규모 언어 모델(LLM)의 안전한 정렬 과정에서 발생하는 과도한 거부(over-refusal) 문제를 해결하기 위한 새로운 방법론과 벤치마크를 제시합니다. 과도한 거부 현상을 유발하는 프롬프트 생성의 어려움을 해결하고자 자동 생성 기법을 활용하여 대규모 과도한 거부 데이터셋인 OR-Bench를 구축하였습니다. OR-Bench는 10가지 일반적인 거부 범주에 걸쳐 8,000개의 과도한 거부 프롬프트, 최첨단 LLM에도 어려운 약 1,000개의 어려운 프롬프트, 그리고 무분별한 응답을 방지하기 위한 600개의 유해 프롬프트로 구성됩니다. 8개 모델 계열의 32개 인기 LLM을 대상으로 과도한 거부 현상을 포괄적으로 측정하고, 데이터셋과 코드베이스를 공개하여 향상된 안전 정렬 모델 개발에 기여하고자 합니다.
