본 논문은 ALT(ALignment with Textual feedback)라는, 텍스트 피드백을 사용하여 언어 모델을 사용자 선호도에 맞추는 접근법을 제시합니다. 단순한 비교적 선호도보다 텍스트가 더 풍부한 피드백을 제공할 수 있다고 주장하며, 이를 통해 더 효율적이고 효과적인 정렬이 가능하다고 설명합니다. ALT는 생성 과정에 텍스트 피드백을 조건으로 설정하여 모델을 정렬합니다. 이 방법은 언어 모델링 기술에만 의존하며, 최소한의 하이퍼파라미터 조정만 필요하지만, RL 기반 정렬 알고리즘의 주요 이점을 제공하며 텍스트 피드백으로부터 효과적으로 학습할 수 있습니다. 독성 감소, 요약, 대화 응답 생성과 같은 다양한 작업에서 텍스트 피드백의 효능과 효율성을 탐구하며, 독성 감소 작업에서는 PPO보다 성능이 우수하고, 요약 작업에서는 20%의 샘플만으로도 PPO와 동등한 성능을 달성함을 보여줍니다. 또한, 기존 LLM이 제한적이거나 제한적이지 않은 텍스트 피드백을 제공하는 경우 ALT를 사용하는 방법도 탐구하고, 자연어 피드백을 사용하여 모델을 정렬하는 미래 방향을 제시합니다.
