본 논문은 다양한 하위 작업(예: 교차 모드 생성 및 검색)에 중요한 다중 모드 정렬을 개선하기 위해 CS-Aligner라는 새로운 프레임워크를 제안합니다. 기존의 CLIP과 같은 방법들은 InfoNCE를 사용하여 상호 정보를 극대화하지만, 모드 간의 분포 차이를 간과하고 쌍별 샘플만 정렬하는 한계가 있습니다. InfoNCE는 또한 다중 모드에서 정렬과 균일성 간의 고유한 갈등을 가지므로 모드 간 차이가 있을 때 최적의 정렬을 달성하지 못합니다. CS-Aligner는 코시-슈바르츠(CS) 발산을 상호 정보와 통합하여 분포 기반 시각-언어 정렬을 수행함으로써 이러한 한계를 극복합니다. CS 발산은 각 모드의 전역 분포 정보와 쌍별 의미 관계를 모두 포착하며, InfoNCE의 정렬-균일성 갈등을 해결하고 InfoNCE와 상호 보완적인 역할을 수행하여 더욱 정확하고 정밀한 정렬을 제공합니다. 또한, 분포 기반 정렬을 도입함으로써 쌍을 이루지 않은 데이터와 토큰 수준 표현에서 추가 정보를 통합하여 실제로 유연하고 세분화된 정렬을 향상시킵니다. 텍스트-이미지 생성 및 교차 모드 검색 작업에 대한 실험은 시각-언어 정렬에 대한 본 방법의 효과를 보여줍니다.
시사점, 한계점
•
시사점:
◦
InfoNCE의 한계점인 정렬과 균일성 간의 갈등을 CS 발산을 통해 효과적으로 해결.
◦
쌍을 이루지 않은 데이터와 토큰 수준 표현을 활용하여 더욱 유연하고 세분화된 정렬 가능.
◦
텍스트-이미지 생성 및 교차 모드 검색 작업에서 기존 방법보다 우수한 성능을 보임.
◦
CS 발산과 InfoNCE의 상호 보완적인 활용을 통해 더욱 정확하고 정밀한 다중 모드 정렬 달성.
