본 논문은 대규모 언어 모델(LLM)의 정렬 문제를 해결하기 위해 정보 검색(IR) 원리를 활용한 새로운 직접 최적화 방식인 LarPO(LLM Alignment as Retriever Preference Optimization)를 제안합니다. 기존 강화 학습 기반 정렬 방법의 복잡성을 극복하고, LLM 생성 및 보상 모델을 IR의 검색-재순위 지정 패러다임에 매핑하는 체계적인 프레임워크를 제시합니다. 실험 결과, AlpacaEval2와 MixEval-Hard에서 각각 38.9%와 13.7%의 성능 향상을 보이며 LarPO의 효과를 검증합니다. 이는 IR 기반의 LLM 정렬 연구에 새로운 가능성을 제시합니다.
시사점, 한계점
•
시사점:
◦
정보 검색(IR) 원리를 LLM 정렬에 효과적으로 적용한 새로운 방법 제시.
◦
기존 강화 학습 기반 방법보다 간결하고 효율적인 LLM 정렬 접근 방식 제공.
◦
AlpacaEval2와 MixEval-Hard 평가에서 상당한 성능 향상을 통해 LarPO의 효과를 입증.
