Probabilistic Tiny Recursive Model

작성자

Haebom

카테고리

Empty

저자

Amin Sghaier, Ali Parviz, Alexia Jolicoeur-Martineau

💡 개요

본 논문은 기존 Tiny Recursive Models(TRM)의 결정론적 재귀가 최적화되지 않은 해로 수렴하는 문제를 해결하기 위해 확률적 탐색을 도입한 Probabilistic TRM(PTRM)을 제안합니다. PTRM은 각 재귀 단계마다 가우시안 노이즈를 주입하여 병렬적으로 다양한 해 탐색 공간을 탐험하게 하고, 모델의 Q 헤드를 이용해 최적의 해를 선택합니다. 이를 통해 재학습이나 특정 작업에 대한 데이터 증강 없이도 Sudoku-Extreme 및 Pencil Puzzle Bench 등 다양한 벤치마크에서 상당한 정확도 향상을 달성했습니다.

🔑 시사점 및 한계

•

TRM의 결정론적 한계를 극복하고 문제 해결 능력을 강화하는 새로운 프레임워크를 제시합니다.

•

적은 파라미터 수(7M)로도 최첨단 LLM 대비 월등한 성능과 효율성을 보여줍니다.

•

테스트 시점 컴퓨팅 자원 확장을 통해 성능 향상을 이루어내는 효과적인 방법론입니다.

•

노이즈 주입량 및 Q 헤드를 이용한 선택 전략 등 확률적 탐색 관련 하이퍼파라미터 튜닝이 추가적으로 필요할 수 있습니다.

PDF 보기

Made with Slashpage