Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Extending Test-Time Scaling: A 3D Perspective with Context, Batch, and Turn

Created by
  • Haebom
Category
Empty

저자

Chao Yu (Tsinghua University), Qixin Tan (Tsinghua University), Jiaxuan Gao (Tsinghua University), Shi Yu (Tsinghua University), Hong Lu (Tsinghua University), Xinting Yang (Tsinghua University), Zelai Xu (Tsinghua University), Yu Wang (Tsinghua University), Yi Wu (Tsinghua University), Eugene Vinitsky (New York University)

개요

본 논문은 추론 강화 학습(RL)에서 테스트 시점 확장의 새로운 효과를 제시하며, 테스트 시점 추론의 능력을 확장하기 위한 다차원 테스트 시점 확장의 통합 프레임워크를 소개한다. 특히 문맥 길이, 배치 크기, 턴 크기를 포함한 세 가지 차원을 통합하는 3D 테스트 시점 확장을 제안하고, 이를 통해 IOI, IMO, CPHO와 같은 어려운 테스트베드에서 추론 성능을 향상시키며, 인간 선호도 피드백과 결합하여 그 효과를 입증한다. 또한, 인간 중심 프레임워크를 구체화된 학습으로 확장하여 휴머노이드 제어 동작 설계를 가능하게 한다.

시사점, 한계점

시사점:
테스트 시점 확장의 새로운 차원을 제시하여 추론 성능 향상.
문맥, 배치, 턴 확장을 통합하는 3D 테스트 시점 확장 프레임워크 제안.
IOI, IMO, CPHO 테스트베드에서 성능 향상 입증.
인간 선호도 피드백 활용 및 구체화된 학습으로의 확장 가능성 제시.
한계점:
각 차원의 확장 효과는 제한된 용량을 가진다.
기존 모델의 문맥 길이 제한으로 인한 근본적인 한계.
👍