본 논문은 대규모 데이터셋에서 이미지와 텍스트 간의 다대다 대응으로 인해 비전-언어 사전학습(VLP)에서 거짓 음성(false negatives)이 심각한 문제임을 지적합니다. 거짓 음성은 상반되는 지도 신호를 도입하여 학습된 임베딩 공간을 저하시키고 하드 네거티브 샘플링의 효과를 감소시킵니다. 이를 해결하기 위해, 본 논문에서는 VLP 중에 하드 네거티브와 거짓 네거티브 간의 절충을 적응적으로 조절하는 학습 기반 미니 배치 구성 전략인 FALCON(False-negative Aware Learning of COntrastive Negatives)을 제안합니다. 고정된 휴리스틱에 의존하는 대신, FALCON은 교차 모달 정렬 개선을 위한 프록시에 따라 미니 배치 구성 중 각 앵커 인스턴스에 대해 적절한 어려움의 네거티브 샘플을 동적으로 선택하는 네거티브 마이닝 스케줄러를 사용합니다. 실험 결과는 FALCON이 두 가지 널리 사용되는 VLP 프레임워크(ALBEF, BLIP-2)와 광범위한 다운스트림 작업 및 평가 설정에서 성능을 크게 향상시켜 거짓 음성의 영향을 완화하는 효과와 강건성을 보여줍니다.
