BLEUBERI: BLEU is a surprisingly effective reward for instruction following
Created by
Haebom
저자
Yapei Chang, Yekyung Kim, Michael Krumdick, Amir Zadeh, Chuan Li, Chris Tanner, Mohit Iyyer
개요
본 논문은 대규모 언어 모델(LLM)을 인간의 선호도에 맞추는 데 중추적인 역할을 하는 보상 모델의 훈련 비용이 많이 든다는 점을 지적하며, 고품질의 합성 지시 사항 따르기 데이터셋의 증가를 고려하여 RL 기반 정렬 과정에서 보상 모델의 대안으로 더 간단한 참조 기반 지표를 사용할 수 있는지에 대한 질문을 제기합니다. 연구 결과, 기본적인 문자열 일치 지표인 BLEU가 일반적인 지시 사항 따르기 데이터셋에서 인간의 선호도에 대한 합의 측면에서 강력한 보상 모델과 놀랍도록 일치한다는 것을 보여줍니다. 이러한 통찰력을 바탕으로, 어려운 지시 사항을 먼저 식별한 다음 BLEU를 보상 함수로 직접 사용하는 GRPO(Group Relative Policy Optimization)를 적용하는 BLEUBERI 방법을 개발했습니다. BLEUBERI로 훈련된 모델은 네 가지 어려운 지시 사항 따르기 벤치마크와 세 가지 서로 다른 기본 언어 모델에서 보상 모델로 안내된 RL을 통해 훈련된 모델과 경쟁력이 있음을 보여줍니다. 인간 평가를 통해 BLEUBERI 모델의 출력 품질이 보상 모델 정렬 모델의 출력과 동등하다는 것을 추가적으로 뒷받침하며, 경쟁 방법보다 사실에 기반한 출력을 생성하는 것으로 나타났습니다. 결론적으로, 고품질 참조 출력(기존 지시 사항 따르기 데이터셋이나 합성 데이터 생성을 통해 쉽게 얻을 수 있음)에 대한 접근 권한이 주어지면 문자열 일치 기반 지표는 정렬 중 보상 모델의 저렴하면서도 효과적인 대리 지표가 될 수 있음을 보여줍니다. 코드와 데이터는 https://github.com/lilakk/BLEUBERI 에서 공개됩니다.
