본 논문은 사전 훈련 후 언어 모델(LM)을 인간의 선호도에 맞추는 데 중요한 두 가지 과정인 감독 미세 조정(SFT)과 선호도 최적화(PO)를 다룹니다. SFT는 효율성에, PO는 효과성에 뛰어나지만, 종종 최적화 목표를 통합하지 않고 순차적으로 결합됩니다. 이러한 접근 방식은 두 과정의 패러다임 차이를 해소하고 각각의 강점을 활용할 기회를 무시합니다. 본 논문에서는 마르코프 의사 결정 과정(MDP) 내에서 토큰 수준으로 정의된 두 가지 하위 과정, 즉 선호도 추정과 전이 최적화를 사용하여 SFT와 PO를 해석합니다. 이 모델링은 SFT가 열등한 추정 및 최적화를 가진 PO의 특수한 경우임을 보여줍니다. PO는 모델의 선호도를 전체 생성물을 기반으로 추정하지만, SFT는 정답의 이전 토큰을 기반으로 모델의 후속 예측 토큰만 점수를 매깁니다. 이러한 사전 정보는 모델의 분포에서 벗어나 선호도 추정과 전이 최적화를 방해합니다. 이러한 관점을 바탕으로 본 논문에서는 SFT와 PO를 단일 과정으로 통합하는 직관적 미세 조정(IFT)을 제안합니다. 시간적 잔차 연결을 통해 IFT는 LM의 전체 답변에 대한 직관적인 감각을 포착하여 더 나은 추정과 최적화를 제공합니다. 그러나 IFT는 단일 정책과 SFT와 동일한 양의 비선호도 레이블 데이터에만 의존합니다. 실험 결과, IFT는 여러 작업, 특히 생성, 추론 및 사실 따르기 능력이 필요한 작업에서 SFT 및 일부 일반적인 PO 방법과 비교하거나 심지어 우수한 성능을 보여줍니다. 설명 가능한 Frozen Lake 게임은 경쟁력 있는 정책을 얻기 위한 IFT의 효과를 더욱 검증합니다.
