본 논문은 제한되지 않은 실제 환경에서의 강건한 얼굴 표정 인식 문제를 다룬다. 기존의 Test-Time Adaptation (TTA) 방법들은 수동으로 업데이트할 매개변수를 선택하여 최적이 아닌 적응과 높은 계산 비용을 초래하는 한계를 지닌다. 이에 본 논문은 피셔 정보를 기반으로 중요도를 정량화하여 가장 중요한 모델 매개변수만 동적으로 식별하고 업데이트하는 새로운 피셔 기반 선택적 적응 프레임워크를 제시한다. 시간적 일관성 제약 조건을 통합하여 비디오 기반 얼굴 표정 인식에 특화된 효율적이고 효과적인 적응을 가능하게 한다. AffWild2 벤치마크 실험 결과, 제안된 방법은 기존 TTA 방법들을 상당히 능가하며, 기준 모델보다 F1 점수가 7.7% 향상되었고, 비교 가능한 방법보다 20배 이상 적은 22,000개의 매개변수만 적응시켰다. 또한, 1~3 프레임만 샘플링해도 상당한 성능 향상을 얻을 수 있음을 보여준다. 결론적으로, 제안된 방법은 인식 정확도를 높이고 계산 오버헤드를 크게 줄여 실제 감정 컴퓨팅 응용 분야에서 TTA를 더욱 실용적으로 만든다.