A Balanced Approach of Rapid Genetic Exploration and Surrogate Exploitation for Hyperparameter Optimization
Created by
Haebom
저자
Chul Kim, Inwhee Joe
개요
본 논문은 탐색과 활용의 균형을 맞춘 새로운 하이퍼파라미터 최적화(HPO) 방법을 제안합니다. 진화 알고리즘(EA)은 HPO에서 유망하지만 효과적인 활용에 어려움을 겪는 경우가 많습니다. 이를 해결하기 위해 유전 알고리즘(GA)에 선형 대리 모델을 통합하여 여러 전략을 원활하게 통합합니다. 이러한 결합은 활용 성능을 향상시켜 기존 HPO 방법보다 평균 1.89% (최대 6.55%, 최소 -3.45%) 향상을 달성합니다.
시사점, 한계점
•
시사점: 유전 알고리즘에 선형 대리 모델을 통합하여 하이퍼파라미터 최적화의 활용 성능을 향상시킬 수 있음을 보여줍니다. 기존 방법 대비 평균 1.89% 향상이라는 실험적 결과를 제시합니다. 다양한 전략의 원활한 통합을 가능하게 하는 새로운 HPO 방법을 제시합니다.
•
한계점: 향상 정도가 최소 -3.45%까지 감소하는 경우가 있어 모든 경우에 성능 향상을 보장하지는 않습니다. 제안된 방법의 일반화 성능에 대한 추가적인 연구가 필요합니다. 사용된 선형 대리 모델의 한계로 인해 비선형적인 관계를 잘 반영하지 못할 수 있습니다. 특정 문제 또는 데이터셋에 대한 편향이 존재할 가능성이 있습니다.
