본 논문은 추론 모델의 추론 능력과 지시사항 준수 능력 사이의 상충 관계를 해결하기 위한 자기 지도 강화 학습(RL) 프레임워크를 제안합니다. 기존의 접근 방식은 외부 모델에 의존하여 비용과 접근성 문제를 야기하지만, 본 논문에서 제시된 프레임워크는 추론 모델의 내부 신호를 활용하여 외부 감독 없이 지시사항 준수 능력을 향상시킵니다. 실험 결과, 제안된 프레임워크는 추론 성능을 유지하면서 지시사항 준수 능력을 크게 향상시켜 확장 가능하고 비용 효율적인 접근 방식을 제공함을 보여줍니다. 소스 코드와 데이터는 공개적으로 제공됩니다.
시사점, 한계점
•
시사점:
◦
추론 모델의 지시사항 준수 능력을 향상시키는 새로운 자기 지도 강화 학습 프레임워크 제시.
