본 논문은 대규모 언어 모델(LLM)을 인간의 선호도에 맞추는 데 필요한 대량의 주석 문제를 해결하기 위해, 적은 양의 자원과 특정 도메인 환경에서 LLM 정렬을 위한 생성적 엔트로피 기반 선호 모델링 접근 방식인 GEM을 제안한다. GEM은 선호도 데이터를 기반으로 판별적 보상 모델을 훈련하는 대신, 폐쇄 루프 최적화 아키텍처를 사용하여 인간 선호도에 내재된 다차원적이고 미세한 인지 신호를 추출하고 활용하도록 LLM을 직접 훈련시킨다. 특히, 인지 필터링 모듈은 Chain-of-Thought(CoT) 프롬프팅을 사용하여 선호도 데이터로부터 다양한 후보 추론 체인을 생성하고, 토큰 점수 매커니즘을 통해 샘플링된 CoT의 순위를 매기고 가중치를 부여한다. 이를 통해 높은 신뢰도의 답변과 전략적으로 높은 엔트로피 토큰의 중요성을 높인다. GEM은 이러한 필터링된 선호도를 기반으로 새로운 자체 평가 그룹 우위 알고리즘(SEGA)을 사용하여 LLM을 미세 조정하여 그룹 수준의 인지 신호를 효과적으로 집계하고 엔트로피 기반 점수를 정책 최적화를 위한 암묵적 보상으로 변환한다. GEM은 LLM이 자체 판단에 의존하도록 하며, 엔트로피 기반 폐쇄 루프 인지 최적화 프레임워크를 구축하여 LLM의 효율적인 소수 샷 정렬을 가능하게 한다. 일반 벤치마크 및 도메인별 작업(수학적 추론, 의료 대화)에 대한 실험 결과, GEM은 소수 샷 선호도 데이터를 사용하여 상당한 성능 향상을 달성했다.
