본 논문은 대규모 언어 모델의 파인튜닝을 개선하기 위해 이중 수준 베이지안 최적화(BO) 전략과 모델 융합 기법을 결합한 Bilevel-BO-SWA를 제안합니다. 기존 BO 기반 하이퍼파라미터 튜닝 방법들이 획득 함수의 선택에 대한 중요성을 간과하는 점을 지적하며, 훈련 손실 및 검증 성능에 대한 민감도를 고려하여 획득 함수(EI, UCB 등)를 혼합하여 사용하는 방법을 제시합니다. 내부 루프에서 훈련 손실을 최소화하고, 외부 루프에서 검증 지표를 최적화하는 중첩 최적화 루프를 통해 RoBERTA-base 모델을 GLUE 작업에 파인튜닝하여 최대 2.7%의 성능 향상을 달성했습니다.
