본 논문은 복잡한 신경망의 성능을 극대화하기 위한 최적의 하이퍼파라미터 선택 문제를 다룹니다. Code Llama를 미세 조정하여 대규모 언어 모델(LLM)을 사용한 하이퍼파라미터 최적화의 실행 가능성을 조사합니다. LoRA를 사용한 매개변수 효율적인 미세 조정을 통해 다양한 신경망 아키텍처에 맞춤화된 정확하고 효율적인 하이퍼파라미터 권장 사항을 생성하도록 LLM을 적응시킵니다. Optuna와 같은 기존의 반복적인 시행착오 방식과 달리, 제안된 접근 방식은 RMSE(Root Mean Square Error) 측면에서 경쟁력 있는 또는 우수한 결과를 달성하면서 계산 오버헤드를 크게 줄입니다. LLM 기반 최적화는 Tree-structured Parzen Estimators와 같은 최첨단 방법과 일치할 뿐만 아니라 조정 프로세스를 가속화합니다. 이는 특히 빠른 실험을 위해 LLM을 기존 최적화 기법에 대한 유망한 대안으로 자리매김합니다. 또한, 단일 추론 단계에서 하이퍼파라미터를 생성할 수 있는 기능은 계산 효율이 가장 중요한 에지 장치 및 모바일 애플리케이션과 같은 리소스 제약 환경에 특히 적합합니다. 결과는 LLM이 효율성을 넘어 상당한 시간 절약과 비교 가능한 안정성을 제공하여 머신러닝 워크플로 개선에 대한 가치를 강조합니다. 생성된 모든 하이퍼파라미터는 공개적으로 사용 가능하며 하이퍼파라미터 최적화 연구를 위한 오픈소스 벤치마크 역할을 하는 LEMUR 신경망(NN) 데이터세트에 포함되어 있습니다.
