본 논문은 테스트 시간 적응 (TTA)을 위한 새로운 프레임워크인 MoETTA를 제안합니다. MoETTA는 혼합된 분포 이동 환경에서 모델의 성능 저하를 해결하기 위해 Mixture-of-Experts (MoE) 아키텍처를 통합하여 다양한 기울기 방향으로 적응할 수 있도록 설계되었습니다. 또한, 현실적인 배포 환경을 시뮬레이션하기 위해 potpourri 및 potpourri+라는 두 가지 새로운 벤치마크를 도입했습니다. 실험 결과, MoETTA는 강력한 기준선들을 지속적으로 능가하며 SOTA 성능을 달성했습니다.
시사점, 한계점
•
시사점:
◦
MoE 아키텍처를 활용한 TTA 프레임워크 제안: 다양한 도메인에 걸쳐 유연하고 독립적인 파라미터 업데이트를 가능하게 하여 혼합된 분포 이동에 효과적으로 대응.
◦
새로운 벤치마크 (potpourri, potpourri+) 도입: 현실적인 배포 환경을 시뮬레이션하여 더욱 복잡한 도메인 이동에 대한 평가 가능.
◦
SOTA 성능 달성: 다양한 혼합 분포 이동 설정에서 기존 방법들을 능가하는 성능을 입증.
•
한계점:
◦
MoE 아키텍처의 복잡성으로 인한 계산 비용 증가 가능성.
◦
각 전문가의 역할 및 최적화 전략에 대한 추가 연구 필요.
◦
potpourri+ 벤치마크에서의 catastrophic forgetting 완화에 대한 추가적인 연구 필요.
