Representation learning은 텍스트 검색 및 다중 모드 이해와 같은 애플리케이션에 필수적입니다. 그러나 견고하고 일반화 가능한 표현 학습은 여전히 어려운 과제입니다. 기존 연구에서 데이터 증강의 한 형태인 활성 노이즈 주입이 인코딩 성능을 향상시킬 수 있음을 보여주었지만, 대부분의 기존 방법은 경험적 또는 정적 노이즈에 의존하여 학습 중 특징 분포의 동적 특성을 간과합니다. 본 연구에서는 InfoNCE 손실을 대표적인 예로 사용하여 기울기 기반 및 특징 분포 관점에서 표현 학습에서 노이즈의 역할을 체계적으로 연구합니다. 다중 모드 표현 학습에 초점을 맞춰, 새로운 특징 적응 노이즈 주입 전략인 FANoise를 제안합니다. FANoise는 대조 학습의 역학을 활용하여 노이즈의 이점을 유지하면서 노이즈의 부정적인 영향을 효과적으로 완화합니다. 이 이론적으로 근거한 프레임워크에서, 종합적인 실험을 통해 FANoise가 다양한 기본 VLM 모델에서 다중 모드 작업 전반의 전반적인 성능을 일관되게 향상시킵니다.
시사점, 한계점
•
FANoise는 특징 적응형 노이즈 주입 전략으로, 다중 모드 표현 학습에서 성능을 향상시킵니다.
•
InfoNCE 손실을 사용하여 기울기 기반 및 특징 분포 관점에서 노이즈의 역할을 연구합니다.
