대규모 언어 모델(LLM)을 인간의 선호도와 가치에 맞추는 것은 응용에 필수적입니다. 하지만 현재의 정렬 방법은 다음 세 가지 주요 한계점을 가지고 있습니다. (1) 값비싼 사람의 주석에 대한 의존성, (2) 정렬 세금, (3) 탈옥 공격에 취약한 얕은 정렬. 또한, 현재의 정렬 데이터셋은 종종 불균일한 분포로 인해 특정 주제가 과대표되고 다른 주제는 무시되는 문제가 있습니다. 이러한 문제를 해결하기 위해, 본 논문에서는 멤버십 추론 공격의 섀도우 모델에서 영감을 받은 SRMIR(내성적 추론에 기반한 섀도우 보상 모델)을 제안합니다. 먼저, LLM의 내성적 추론 능력을 활용하여 구조화된 프롬프트를 사용하여 7가지 유해 유형에 걸쳐 균형 잡힌 안전 초안 체인(CoD) 데이터셋을 구성한 다음, 그룹 상대 정책 최적화(GRPO)를 통해 정책 최적화를 안내하는 일련의 특수 보상 모델을 훈련합니다. 정책 최적화를 위해 선형 결합 및 범주화 접근 방식이라는 두 가지 전략을 적용합니다. 비교를 통해 후자가 더 높은 계산 비용에도 불구하고 우수한 정렬을 달성한다는 것을 알 수 있습니다. 여러 LLM에 대한 실험을 통해 SRMIR이 기존 방법보다 훨씬 뛰어난 성능을 보임을 보여줍니다.
