본 논문은 대규모 언어 모델(LLM)의 soft-thinking 추론 방식을 강화하기 위한 새로운 정책 최적화 알고리즘인 SofT-GRPO를 제시합니다. SofT-GRPO는 Gumbel 노이즈 주입, Gumbel-Softmax 기술 활용, 정책 기울기 내 재매개변수화 트릭을 통해 soft-thinking 토큰의 확률적 특성을 처리하고 정책을 효과적으로 업데이트합니다. 1.5B에서 7B 파라미터에 이르는 다양한 LLM을 대상으로 실험을 진행한 결과, SofT-GRPO는 discrete-token GRPO보다 Pass@1에서는 약간의 성능 향상을, Pass@32에서는 더 큰 성능 향상을 보였습니다.
시사점, 한계점
•
시사점:
◦
SofT-GRPO는 soft-thinking LLM의 성능을 향상시키는 새로운 정책 최적화 알고리즘을 제시했습니다.
◦
실험 결과는 SofT-GRPO가 discrete-token GRPO에 비해 더 나은 성능을 달성할 수 있음을 보여주었습니다.
◦
본 연구는 soft-thinking 기반 LLM의 잠재력을 실현하는 데 기여했습니다.
•
한계점:
◦
Pass@1에서의 성능 향상은 미미하며, Pass@32에서만 유의미한 향상을 보였습니다.
◦
연구는 특정 실험 환경에서만 검증되었을 수 있으며, 다양한 LLM 및 작업에 대한 일반화 가능성은 추가 연구가 필요합니다.
◦
소프트웨어 및 가중치는 특정 GitHub repository에서만 이용 가능하며, 접근성이 제한적일 수 있습니다.
