Can Large Language Models Predict Parallel Code Performance?
Created by
- Haebom
Category
Empty
저자
Gregory Bolet, Giorgis Georgakoudis, Harshitha Menon, Konstantinos Parasyris, Niranjan Hasabnis, Hayden Estes, Kirk W. Cameron, Gal Oren
개요
본 논문은 고성능 GPU 코드의 성능 예측을 위해 대규모 언어 모델(LLM)을 활용하는 새로운 방법을 제시한다. 기존의 GPU 성능 분석은 타겟 하드웨어에서의 실행 시간 프로파일링을 필요로 하지만, 고성능 GPU 접근의 어려움으로 인해 제약이 크다. 본 연구는 LLM이 하드웨어 의존 없이 GPU 커널의 성능을 예측할 수 있는지 여부를 Roofline 모델 기반 분류 작업으로 접근한다. CUDA와 OpenMP로 작성된 340개의 GPU 커널 데이터셋을 이용하여, 프로파일링 데이터 활용, 제로샷, 퓨샷, 그리고 미세조정 등 네 가지 시나리오에서 LLM의 성능을 평가하였다. 결과적으로 최신 LLM은 프로파일링 데이터가 주어졌을 때 100%의 정확도를 달성하였으며, 추론 능력이 뛰어난 LLM은 프로파일링 정보 없이 최대 64%의 정확도를 보였다. 하지만 LLM 미세조정에는 현재 데이터셋보다 훨씬 더 많은 데이터가 필요함을 확인하였다. 본 연구는 소스 코드 수준의 Roofline 성능 예측에 LLM을 활용한 초기 연구이며, 실행시간 프로파일링이 불가능한 상황에서 최적화 작업을 위한 LLM의 잠재력을 보여준다.
시사점, 한계점
•
시사점:
◦
LLM을 활용하여 고성능 컴퓨팅(HPC) 성능 분석 및 성능 이식성 향상 가능성 제시.
◦
실행 시간 프로파일링이 어려운 상황에서 GPU 코드 성능 예측에 대한 새로운 접근법 제시.
◦
추론 능력이 뛰어난 LLM의 우수한 성능 확인.
◦
적절한 데이터셋과 프롬프트 전략을 통해 LLM이 실용적인 HPC 성능 분석 도구로 발전 가능성을 시사.
•
한계점:
◦
LLM 미세조정을 위해서는 현재보다 훨씬 더 많은 데이터가 필요함.
◦
본 연구는 Roofline 모델 기반 분류 작업에 국한되어 있으며, 더 정확한 성능 예측을 위해서는 추가적인 연구가 필요.
◦
사용된 데이터셋의 규모가 제한적임.
