본 논문은 복잡한 신경망의 성능을 극대화하기 위한 최적의 하이퍼파라미터 선택 문제를 해결하기 위해, LoRA를 사용하여 매개변수 효율적인 Code Llama를 미세 조정한 대규모 언어 모델(LLM)을 활용하는 방법을 제시합니다. 제안된 방법은 다양한 신경망 구조에 맞춤화된 정확하고 효율적인 하이퍼파라미터 권장 사항을 생성할 수 있습니다. Optuna와 같은 기존의 시행착오 방식과 달리, 제안된 LLM 기반 방법은 RMSE 측면에서 경쟁력 있는 또는 우수한 결과를 달성하면서 계산 오버헤드를 크게 줄입니다. TPE와 같은 최첨단 기법과의 성능 비교를 통해 LLM 기반 최적화의 효율성과 성능을 검증하고, 특히 리소스 제약 환경에서의 빠른 실험을 위한 유망한 대안임을 보여줍니다. 또한, 다양한 작업에 걸쳐 일관된 성능과 시간 절약을 제공하여 강력성과 일반화 가능성을 강조합니다. 생성된 모든 하이퍼파라미터는 공개적으로 이용 가능한 LEMUR 신경망(NN) 데이터셋에 포함되어 하이퍼파라미터 최적화 연구를 위한 오픈소스 벤치마크 역할을 합니다.
