CTA: Cross-Task Alignment for Better Test Time Training
Created by
Haebom
저자
Samuel Barbeau, Pedram Fekri, David Osowiechi, Ali Bahri, Moslem Yazdanpanah, Masih Aminbeidokhti, Christian Desrosiers
개요
본 논문은 테스트 시간 훈련(TTT)을 개선하는 새로운 방법인 CTA(Cross-Task Alignment)를 제안합니다. 기존 TTT 방법과 달리 CTA는 특별한 모델 아키텍처를 필요로 하지 않고, 다중 모달 대조 학습의 성공에서 영감을 얻어 지도 학습 인코더와 자기 지도 학습 인코더를 정렬합니다. 이 과정은 두 모델의 학습된 표현 간의 정렬을 강화하여 기울기 간섭의 위험을 완화하고, 자기 지도 학습의 본질적인 강건성을 유지하며, 테스트 시간에 더 의미 있는 업데이트를 가능하게 합니다. 여러 벤치마크 데이터셋에서 최첨단 기술보다 강건성과 일반화 성능이 크게 향상됨을 실험 결과를 통해 보여줍니다.
시사점, 한계점
•
시사점:
◦
기존 TTT 방법의 한계점인 특수 모델 아키텍처 의존성을 극복.
◦
다중 모달 대조 학습 기법을 활용하여 지도 및 자기 지도 학습 인코더 간의 효과적인 정렬 달성.
