본 논문은 대규모 언어 모델(LLM)과 강화 학습(RL)을 결합하여 Half-precision General Matrix Multiply (HGEMM) CUDA 커널을 자동으로 최적화하는 시스템인 CUDA-L2를 제안합니다. CUDA 실행 속도를 RL 보상으로 사용하여 CUDA-L2는 1,000개의 구성에서 HGEMM 커널을 자동으로 최적화합니다. CUDA-L2는 널리 사용되는 torch.matmul에서 최첨단 Nvidia의 독점 라이브러리인 cuBLAS, cuBLASLt에 이르기까지 주요 matmul 기본 모델을 체계적으로 능가합니다. 오프라인 모드에서는 torch.matmul보다 평균 +22.0%, cuBLAS (최적 레이아웃 구성 사용 시) 보다 +19.2%, cuBLASLt-heuristic보다 +16.8%, cuBLASLt-AutoTuning 모델보다 +11.4% 향상을 보입니다. 서버 모드에서는 속도 향상이 더욱 증가합니다.
