본 논문은 대규모 언어 모델(LLM)의 정렬(alignment)을 위한 효율적인 새로운 방법인 RefAlign을 제시합니다. 기존의 LLM 정렬 방법들은 이진 선호도 데이터 수집과 보상 모델링에 많은 자원을 필요로 하는 반면, RefAlign은 생성된 텍스트와 고품질 참조 답변 간의 유사성을 보상 함수로 활용합니다. BERTScore를 유사성 측정 지표로 사용하여 참조 모델과 보상 모델 없이도 LLM을 정렬할 수 있으며, 여러 후보 답변이 있을 때 이진 선호도 쌍을 만드는 것보다 시간 효율적입니다. RefAlign은 일반적인 인간 선호도 최적화뿐만 아니라 안전 및 신뢰도 정렬과 같은 다양한 시나리오에도 확장 가능합니다. 다양한 실험 결과를 통해 기존 방법과 비교하여 유사한 성능을 보이며 높은 효율성을 달성함을 보여줍니다.
