Logit Arithmetic Elicits Long Reasoning Capabilities Without Training
Created by
Haebom
저자
Yunxiang Zhang, Muhammad Khalifa, Lechen Zhang, Xin Liu, Ayoung Lee, Xinliang Frederick Zhang, Farima Fatahi Bayat, Lu Wang
개요
본 논문은 대규모 추론 모델(LRM)의 장기 추론 능력을 향상시키는 새로운 방법인 ThinkLogit을 제안합니다. ThinkLogit은 로그릿 연산을 이용하여 작은 모델(가이드 모델)을 이용해 큰 모델(대상 모델)의 장기 추론 능력을 향상시키는 디코딩 시간 접근 방식입니다. 추가적으로, 가이드 모델을 정답/오답 추론 쌍을 이용해 선호도 최적화를 통해 학습시킨 ThinkLogit-DPO를 제안합니다. 실험 결과, Qwen2.5-32B 모델을 R1-Distill-Qwen-1.5B (21배 작은 모델)로 가이드 했을 때, ThinkLogit과 ThinkLogit-DPO는 네 가지 수학 데이터셋에서 pass@1을 각각 26%와 29% 향상시켰습니다. 또한, ThinkLogit은 강화 학습을 통해 얻은 장기 추론 기술을 전이하여 Qwen2.5-32B 기본 모델 대비 pass@1을 13% 향상시켰습니다. 이는 추가적인 학습 없이 또는 최소한의 학습만으로 대규모 모델에서 장기 추론을 유도하는 계산 효율적인 방법을 제시합니다.
시사점, 한계점
•
시사점:
◦
작은 모델을 활용하여 대규모 모델의 장기 추론 능력을 효율적으로 향상시키는 새로운 방법을 제시합니다.
◦
추가 학습이 거의 필요 없거나 전혀 필요 없는 계산 효율적인 접근 방식입니다.
◦
강화 학습을 통해 얻은 장기 추론 기술을 전이할 수 있음을 보여줍니다.
•
한계점:
◦
제안된 방법의 효과는 특정 모델과 데이터셋에 국한될 수 있습니다. 더욱 다양한 모델과 데이터셋에 대한 실험이 필요합니다.
◦
가이드 모델의 성능이 전체 시스템 성능에 영향을 미칠 수 있습니다. 가이드 모델 선택 및 최적화에 대한 추가 연구가 필요합니다.
◦
수학 데이터셋에 집중되어 있어 다른 종류의 추론 문제에 대한 일반화 성능은 추가 연구가 필요합니다.
