본 논문은 대규모 언어 모델(LLM)의 지시사항 준수 능력 향상을 위한 새로운 프레임워크를 제안합니다. LLM이 수학 문제 해결, 코딩, 퍼즐 풀이 등에서는 뛰어난 성능을 보이지만, 복잡한 지시사항을 정확하게 따르는 데는 어려움을 겪는다는 점에 착안하여, '느슨한 추론'을 주요 원인으로 지목했습니다. 이를 해결하기 위해 미리보기 및 자가 검사를 포함하는 엄격한 추론 과정을 가능하게 하는 프레임워크를 제시합니다. 복잡한 제약 조건을 가진 지시사항을 생성하고 필터링하여 '어려움', '쉬움', '통과' 세 가지 범주의 프롬프트 데이터셋을 만들고, '통과' 데이터셋에 대한 rejection sampling을 통해 고품질의 작은 데이터셋을 생성하여 모델 초기화에 활용합니다. 그리고 엔트로피 보존 지도 미세 조정(Entropy-SFT)과 토큰 단위 엔트로피 적응형 강화 학습(TEA-RL)을 규칙 기반 밀집 보상과 함께 사용하여 모델의 추론 메커니즘을 변화시키고 미리보기 및 자가 검사를 포함하는 일반화된 추론 능력을 육성합니다. 다양한 규모의 모델에 대한 실험 결과, 제안된 방법이 성능을 크게 향상시키며, Light-IF-32B 모델이 DeepSeek-R1, Doubao-1.6 등 다른 대규모 모델보다 우수한 성능을 보임을 확인했습니다.
