본 논문은 대규모 언어 모델의 정렬(alignment) 기법이 모델의 복잡성 증가와 인간의 약한 감독으로 인해 어떻게 적응해야 하는지에 대한 질문에 대해 다룹니다. '약한-강한(Weak-to-Strong)' 접근 방식을 확장하여, 여러 개의 약한 모델(WeakS)을 사용하여 인간 의견의 다양성을 시뮬레이션하는 '약한-강한(WeakS-to-Strong)' 방법을 제안합니다. 베이지안 접근 방식을 사용하여 신뢰도 점수를 추정하고, 이를 통해 강한 모델의 일반화를 유도합니다. 텍스트 분류뿐 아니라 텍스트 생성 작업에도 적용을 확장하며, 교사 강요(teacher forcing)를 넘어 직접 선호도 최적화를 통해 학습 모델의 선호도 학습을 향상시키는 전략을 연구합니다. 실험 결과는 제안된 접근 방식의 효과를 보여주며, 초정렬(superalignment)의 가능성을 시사합니다.
