본 논문은 대규모 언어 모델(LLM)의 안전 정렬 접근 방식이 무해한 질문까지 과도하게 거부하는 문제를 해결하기 위해, 16,000개의 유해해 보이는 질문과 44가지 안전 관련 범주에 걸친 구조화된 응답으로 구성된 FalseReject라는 포괄적인 리소스를 제안한다. 다양하고 복잡한 프롬프트를 생성하기 위해 그래프 기반 적대적 다중 에이전트 상호 작용 프레임워크를 제시하며, 모델이 안전한 맥락과 안전하지 않은 맥락을 정확하게 구분하도록 돕기 위해 명시적인 추론을 포함한 구조화된 응답을 제공한다. FalseReject는 표준 지시어 튜닝 모델과 추론 중심 모델 모두를 위한 맞춤형 학습 데이터셋과 사람이 주석을 단 벤치마크 테스트 세트를 포함한다. 29개의 최첨단(SOTA) LLM에 대한 광범위한 벤치마킹을 통해 지속적인 과도한 거부 문제를 보여주며, FalseReject를 사용한 지도 학습 미세 조정이 전반적인 안전성이나 일반적인 언어 기능을 손상시키지 않고 불필요한 거부를 크게 줄이는 것을 실험적으로 입증한다.
