Prompting for Performance: Exploring LLMs for Configuring Software
Created by
Haebom
저자
Helge Spieker, Theo Matricon, Nassim Belmecheri, J{\o}rn Eirik Betten, Gauthier Le Bartz Lyan, Heraldo Borges, Quentin Mazouni, Dennis Gross, Arnaud Gotlieb, Mathieu Acher
개요
본 논문은 대규모 언어 모델(LLM)을 활용하여 소프트웨어 성능 향상을 위한 설정 최적화를 지원하는 가능성을 탐색하는 연구입니다. 컴파일러, 비디오 인코더, SAT 솔버 등 다양한 시스템의 설정 옵션에 대해 LLM이 관련 옵션 식별, 설정 순위 지정, 고성능 설정 추천 등의 작업을 수행하도록 평가했습니다. 실험 결과, LLM이 전문가 지식과 일치하는 경우도 있지만, 환각이나 피상적인 추론을 보이는 경우도 있음을 확인했습니다. 이는 LLM 기반 소프트웨어 설정 지원 솔루션 설계를 위한 체계적인 평가의 첫 단계를 제시합니다.
시사점, 한계점
•
시사점:
◦
LLM이 소프트웨어 설정 최적화에 활용될 수 있는 가능성을 보여줌.
◦
특정 작업 및 시스템에서는 LLM이 전문가 수준의 성능을 보임.
◦
LLM 기반 소프트웨어 설정 지원 솔루션 개발의 기반 마련.
•
한계점:
◦
작업 및 시스템에 따라 LLM의 성능이 크게 달라짐.
◦
환각(hallucination)이나 피상적인 추론(superficial reasoning) 발생 가능성 존재.
