본 논문은 대규모 언어 모델(LLM)의 추론 성능 향상을 위해 JIT(Just-in-Time) 컴파일과 커널 매개변수 자동 튜닝을 결합하는 방법을 제시합니다. 단일 플랫폼 의존성의 한계를 극복하고, 이식성을 높이며, 새로운 AI 하드웨어의 진입 장벽을 낮추는 것을 목표로 합니다. 특히, 널리 사용되는 고성능 LLM 커널인 플래시 어텐션(flash attention)에 초점을 맞춰, 자동 튜닝 기법을 통해 최대 15배 더 많은 커널 매개변수 구성을 탐색하고, 다양한 코드를 생성하며, 기존의 공급업체 최적화 구현보다 최대 230%까지 성능을 향상시키는 동시에 커널 코드 크기를 70배 줄이고 수동 코드 최적화를 제거하는 결과를 보여줍니다. 이는 자동 튜닝이 GPU 공급업체 간 모델 이식성을 확보하는 유망한 방법임을 시사합니다.
