기존의 LLM 안전성 연구는 주로 훈련 단계에서 안전한 행동을 주입하는 데 초점을 맞추었지만, 최근 연구에 따르면 이러한 방법들은 다양한 탈옥 공격에 취약한 것으로 나타났습니다. 동시에 추론 확장(inference scaling)은 LLM 추론 능력을 크게 향상시켰지만, 안전성 보장 측면에서는 아직 연구되지 않았습니다. 본 연구는 새롭게 등장하는 위협에 대한 강력하고 효과적인 LLM 안전성을 위해 추론 확장을 개척합니다. 기존의 추론 확장 기법은 추론 작업에서는 성공적이지만, 안전성 맥락에서는 성능이 저조하며 Best-of-N 샘플링과 같은 기본적인 접근 방식보다도 못하다는 것을 밝혔습니다. 이러한 비효율성은 프로세스 보상 모델(PRM) 평가와 관련된 높은 계산 오버헤드로 인해 발생하는 탐색-효율성 딜레마라는 새롭게 확인된 과제 때문입니다. 이러한 딜레마를 극복하기 위해, 본 연구는 안전성 보장을 위해 특별히 고안된 새로운 추론 확장 패러다임인 SAFFRON을 제안합니다. 본 접근 방식의 핵심은 보상 모델 평가 횟수를 크게 줄이는 다중 분기 보상 모델(MRM)을 도입하는 것입니다. 이 패러다임을 실현하기 위해 (i) MRM에 대한 부분 감독 훈련 목표, (ii) 분포 외 탐색을 방지하기 위한 보수적인 탐색 제약, (iii) 트리 탐색 중 시퀀스 간 캐시 공유를 용이하게 하는 Trie 기반 키-값 캐싱 전략을 추가로 제안합니다. 광범위한 실험을 통해 본 방법의 효과를 검증했습니다. 또한, 향후 LLM 안전성 연구를 가속화하기 위해 훈련된 다중 분기 보상 모델(Saffron-1)과 함께하는 토큰 수준 안전 보상 데이터 세트(Safety4M)를 공개합니다. 코드, 모델 및 데이터는 https://github.com/q-rz/saffron 에서 이용 가능하며, 프로젝트 홈페이지는 https://q-rz.github.io/p/saffron 입니다.
