본 논문은 딥러닝 파이프라인에서 효율적이고 비용 효과적인 하이퍼파라미터 최적화(HPO) 방법을 제시합니다. 모델 크기가 커짐에 따라 HPO의 중요성이 증가하는데, 다중 충실도 HPO(MF-HPO)는 낮은 충실도 추정치를 사용하여 계산 자원을 절약합니다. 하지만 기존 충실도 소스는 계산 및 메모리 제약 하에서 효과적이지 못합니다. 본 논문은 훈련 중 훈련되거나 고정된 레이어의 수를 새로운 충실도 소스로 제안합니다. 깊은 신경망에서 이 방법은 전체 모델 훈련에 비해 계산 및 메모리 절약을 제공하면서 낮은 충실도에서 하이퍼파라미터 간 순위 상관관계를 유지합니다. ResNet과 Transformer를 사용한 실험적 평가를 통해 이를 입증하고, 고정된 레이어의 유용성과 GPU 자원을 충실도로 사용하는 것, 그리고 다른 충실도 소스와 결합된 MF-HPO에 대한 분석을 추가적으로 제시합니다. 이는 하드웨어 자원을 충실도로 사용하는 MF-HPO에 대한 새로운 응용 분야를 열고, 공동 충실도 공간을 탐색하는 향상된 알고리즘을 위한 기회를 창출합니다.
