본 논문은 언어 모델(LM)의 생성 품질 향상을 위해, 모델이 반영해야 할 구체적인 행동 특성을 자동으로 추출하는 방법을 제안합니다. LM의 자기 수정 설정에서 잠재적 속성을 명시적으로 모델링하여 인간이 선호하는 응답을 향한 모델 추론을 안내하는 새로운 원칙을 추출합니다. 후방 규제 몬테카를로 기대 최대화의 근사치를 사용하여 가장 효과적인 잠재 원칙의 축약된 집합을 식별하고, LM이 전략적으로 이러한 원칙을 활용하여 응답을 개선하도록 학습시킵니다. 여러 번 반복하여 부트스트래핑함으로써 작은 언어 모델(7-8B 매개변수)의 성능을 향상시켜 AlpacaEval 승률 +8-10%, MT-Bench 평균 +0.3, IFEval 원칙 준수 승률 +19-23%의 성능 향상을 달성했습니다. 또한 원칙을 클러스터링하여 모델 성능을 유지하면서 해석 가능하고 다양한 모델 생성 규칙을 얻을 수 있음을 보여줍니다.
