MohammadHossein Bateni, Vincent Cohen-Addad, Yuzhou Gu, Silvio Lattanzi, Simon Meierhans, Christopher Mohri
개요
대규모 언어 모델(LLM)은 복잡한 추론 문제 해결에 매우 효과적이며, 이전에 생성된 솔루션에 대해 반복함으로써 성능을 향상시킬 수 있다. 본 논문은 반복적 개선 및 응답 집계를 위한 추론 알고리즘을 분석하는 이론적 프레임워크를 제시한다. 이 프레임워크는 아키텍처 특정성에 의존하지 않고 실험적 증거에 기반하며, 다양한 추론 오라클에 적용될 수 있는 일반적인 관점을 제공한다.
시사점, 한계점
•
시사점:
◦
반복적 개선과 응답 집계 기법의 원리를 공식화하여 새로운 추론 방법 설계를 위한 기반을 마련함.
◦
아키텍처 특정성이 아닌 실험적 증거에 기반하여, 광범위한 추론 오라클에 적용 가능한 일반적인 관점을 제시함.
