본 논문은 대규모 기초 모델을 다운스트림 작업에 적용하면서 분포 변화에 대한 강건성을 유지하는 강건한 미세 조정(Robust Fine-Tuning)을 다룹니다. 기존 방법들은 미세 조정된 가중치와 사전 훈련된 가중치 간의 크기를 기반으로 사전 훈련된 초기화를 향해 현재 모델을 제약하고 투영하는 데 중점을 두는데, 이는 과도한 하이퍼파라미터 조정이 필요하고 과소적합을 초래할 수 있습니다. 본 논문에서는 기울기의 방향 정보를 통합하여 규제와 다목적 최적화를 연결하는 새로운 계층별 학습 가능한 방법인 Directional Gradient Projection (DiGraP)을 제안합니다. 이미지 분류에서 방법을 시연하는 것 외에도, 강건한 미세 조정을 위한 다중 모드 평가 설정으로 이 영역을 일반화합니다. 특히, 이미지 분류를 재구성한 Visual Question Answering (VQA) 벤치마크에 대한 분석을 수행하여 단일 모드와 다중 모드 간의 차이를 해소하고, 10개의 분포 외(OOD) VQA 데이터셋을 분포 변화 유형과 정도(즉, 근접 대 원거리 OOD)에 따라 분류합니다. 실험 결과, DiGraP는 판별적 및 생성적 백본을 사용하여 이미지 분류 및 VQA 작업에서 기존 기준보다 일관되게 우수한 성능을 보이며, 분포 내(ID) 일반화 및 OOD 강건성 모두를 향상시킵니다.
