본 논문은 대규모 모델 서빙의 높은 비용 문제를 해결하기 위해, 대규모 언어 모델(LLM)을 활용한 새로운 컴파일 프레임워크 REASONING COMPILER를 제시합니다. 기존 컴파일러의 비효율적인 확률적 탐색 방식 대신, LLM을 제안 메커니즘으로 활용하여 하드웨어 인식 변환을 제안하고, MCTS(Monte Carlo Tree Search)를 통해 탐색과 활용의 균형을 맞춰 컴파일 최적화 공간을 효율적으로 탐색합니다. LLM 기반 추론을 통해 기존 신경망 컴파일러보다 훨씬 적은 샘플로 상당한 속도 향상을 달성함으로써, LLM 기반 추론이 컴파일러 최적화 분야를 변혁시킬 가능성을 보여줍니다.
