본 논문은 텐서 처리 가속기 프로그래밍의 어려움을 해결하기 위해, 대규모 언어 모델(LLM) 기반 자동화된 코드 최적화 접근법인 Autocomp를 제시합니다. Autocomp는 최적화 과정을 계획 및 코드 생성 단계로 나누는 구조화된 프롬프트, 도메인 지식을 통합하는 최적화 메뉴, 하드웨어 기반 성능 피드백을 활용하여 LLM을 통해 코드를 자동으로 최적화합니다. 세 가지 대표적인 작업 부하와 두 가지 가속기에서 실험한 결과, Autocomp는 기존 벤더 제공 라이브러리보다 최대 5.6배(GEMM), 2.7배(합성곱) 빠른 코드를 생성했으며, 전문가 수준의 수동 최적화 코드보다 최대 1.4배(GEMM), 1.3배(미세 입자 선형 대수)까지 성능 향상을 보였습니다. 또한, 생성된 최적화 일정을 유사한 텐서 연산에 재사용하여 속도 향상을 최대 24%까지 높였습니다.
