본 논문은 멀티모달 대형 언어 모델(MLLM)의 사후 훈련 정렬을 위한 새로운 선호도 정렬 프레임워크인 OrdMoE를 제안한다. OrdMoE는 외부 인간 선호도 데이터에 의존하지 않고, Mixture-of-Experts (MoE) 아키텍처 내의 내재적 신호를 활용하여 자체적으로 선호도를 학습한다. 특히, 라우터의 전문가 선택 점수가 응답의 품질 인식 순위를 암시적으로 인코딩한다는 점에 착안하여, 전문가들을 토큰별 라우팅 점수에 따라 계층으로 그룹화하고 각 계층을 개별적으로 활성화하여 품질이 증가하는 일련의 응답을 생성한다. 이를 통해 제로 코스트, 자체 지도 학습 방식의 선호도 순서를 생성하고, 표준 선호도 학습 목표를 사용하여 직접 최적화한다.
