Tuning LLM-based Code Optimization via Meta-Prompting: An Industrial Perspective
Created by
Haebom
저자
Jingzhi Gong, Rafail Giavrimis, Paul Brookes, Vardan Voskanyan, Fan Wu, Mari Ashiga, Matthew Truscott, Mike Basios, Leslie Kanthan, Jie Xu, Zheng Wang
Meta-Prompted Code Optimization (MPCO)
개요
본 논문은 여러 대규모 언어 모델(LLM)을 활용한 자동 코드 최적화에 대한 연구를 제시한다. 특히, 특정 LLM에 최적화된 프롬프트가 다른 LLM에서 실패하는 문제, 즉, 모델별 프롬프트 엔지니어링의 어려움을 해결하기 위해 MPCO(Meta-Prompted Code Optimization) 프레임워크를 제안한다. MPCO는 프로젝트 메타데이터, 작업 요구 사항, LLM별 컨텍스트를 통합하여 동적으로 컨텍스트를 인식하는 최적화 프롬프트를 생성한다. ARTEMIS 코드 최적화 플랫폼의 핵심 부분이며, 5개의 실제 코드베이스에서 366시간의 런타임 벤치마킹을 통해 MPCO의 효과를 입증했다. MPCO는 기준 방법에 비해 최대 19.06%의 성능 향상을 달성했으며, 최적화의 96%가 의미 있는 편집에서 비롯되었다.
시사점, 한계점
•
시사점:
◦
MPCO는 다양한 LLM에서 작동하는 고품질의 작업별 프롬프트를 자동으로 생성하여, 여러 LLM을 활용하는 시스템의 실질적인 배포를 가능하게 한다.
◦
종합적인 컨텍스트 통합이 효과적인 메타-프롬프팅에 필수적임을 밝혀냈다.
◦
주요 LLM이 효과적인 메타-프롬프터 역할을 할 수 있다는 것을 확인하여, 산업 현장의 실무자들에게 유용한 인사이트를 제공한다.
