본 논문은 대규모 언어 모델의 발전으로 인한 GPU 컴퓨팅 자원 수요의 급증에 따라 자동화된 CUDA 최적화 전략의 필요성을 제기하며, 강화 학습 기반의 자동화된 CUDA 최적화 프레임워크인 CUDA-L1을 소개합니다. CUDA-L1은 NVIDIA A100에서 학습되었으며, KernelBench의 250개 CUDA 커널에 대해 평균 x17.7의 속도 향상을 달성했고 최대 x449의 속도 향상을 보였습니다. 또한, A100에 특화되어 학습되었음에도 불구하고 H100, RTX 3090, L40, H800, H20 등 다양한 GPU 아키텍처에서도 우수한 이식성을 보여주었습니다. CUDA-L1은 다양한 CUDA 최적화 기법을 발견하고 전략적으로 결합하여 최적의 성능을 달성하며, CUDA 최적화의 기본 원리를 밝히고, 성능 저하를 야기하는 최적화를 거부하는 등 여러 가지 주목할 만한 특징을 보여줍니다. 인간의 전문 지식이나 도메인 지식 없이도 속도 향상 기반의 보상 신호만으로 성능이 저조한 LLM을 효과적인 CUDA 최적화 도구로 변환할 수 있음을 보여줍니다.
