Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Accelerating Training Speed of Tiny Recursive Models via Curriculum Guided Adaptive Recursion

Created by
  • Haebom
Category
Empty

저자

Kaleem Ullah Qasim, Jiashu Zhang

개요

본 논문은 재귀적 추론 모델의 훈련 비용을 줄이기 위해 제안된 CGAR이라는 새로운 훈련 방법론을 소개한다. CGAR은 Progressive Depth Curriculum과 Hierarchical Supervision Weighting의 두 가지 구성 요소를 활용하여, 훈련 과정에서 재귀 깊이를 동적으로 조정하고 손실 가중치를 제어한다. Sudoku-Extreme 데이터셋에서 CGAR은 기존 훈련 방식 대비 1.71배의 훈련 속도 향상과 0.63%의 정확도 감소를 보였으며, Progressive Depth Curriculum만으로도 2.26배의 속도 향상을 달성했다. 또한, CGAR로 훈련된 모델은 더 적은 추론 단계로 100%의 중단 정확도를 보였다.

시사점, 한계점

•
시사점:
◦
CGAR은 재귀적 추론 모델의 훈련 효율성을 향상시키는 새로운 방법론을 제시했다.
◦
Progressive Depth Curriculum을 통해 훈련 속도를 크게 향상시켰다.
◦
모델의 추론 효율성 또한 개선했다.
◦
적은 컴퓨팅 자원으로도 재귀적 추론 모델을 효과적으로 훈련할 수 있음을 입증했다.
•
한계점:
◦
Sudoku-Extreme 데이터셋에 대한 실험 결과만 제시되어, 다른 복잡한 추론 문제에 대한 일반화 가능성은 추가적인 연구가 필요하다.
◦
제안된 방법론의 최적 파라미터 설정을 위한 추가적인 연구가 필요할 수 있다.
◦
정확도 감소가 약간 발생했으므로, 이 부분을 개선할 여지가 있다.
👍
Made with Slashpage