본 논문은 복잡한 지시(10개 이상의 제약 조건)를 따르는 데 어려움을 겪는 대규모 언어 모델(LLM)의 한계를 해결하기 위해, 실제 prompt-response 쌍에서 추출한 다수의 제약 조건을 포함하는 데이터셋을 생성하는 새로운 프레임워크인 RECAST를 제안합니다. RECAST는 정량적 제약 조건에는 규칙 기반 검증자를, 정성적 제약 조건에는 LLM 기반 검증자를 사용하여 제약 조건 충족 여부를 자동으로 검증합니다. 이 프레임워크를 사용하여 15가지 유형의 제약 조건을 포함하는 30,000개의 인스턴스로 구성된 대규모 고품질 데이터셋인 RECAST-30K를 구축했습니다. 실험 결과, RECAST-30K로 미세 조정된 모델은 복잡한 지시를 따르는 능력이 크게 향상되었으며, RECAST의 검증 가능성을 통해 강화 학습을 위한 보상 함수를 설계하여 복잡하고 어려운 작업에서 모델 성능을 더욱 향상시킬 수 있음을 보여줍니다.
시사점, 한계점
•
시사점:
◦
복잡한 지시를 따르는 LLM의 성능 향상을 위한 새로운 프레임워크 RECAST 제시
◦
실제 prompt-response 쌍 기반의 실용적인 대규모 고품질 데이터셋 RECAST-30K 구축
◦
정량적 및 정성적 제약 조건에 대한 자동 검증 가능성 제공
◦
강화 학습을 통한 추가적인 성능 향상 가능성 제시
•
한계점:
◦
RECAST-30K 데이터셋의 제약 조건 유형 및 분포의 일반화 가능성에 대한 추가 연구 필요
