본 논문은 다양한 모달리티(컴퓨터 비전, 자연어 처리, 음성 인식 등)를 활용하는 다중 모달 학습 모델에 대한 백도어 공격의 위험성을 강조하고, 이를 평가하기 위한 최초의 백도어 학습 툴킷 및 벤치마크인 BackdoorMBTI를 제시합니다. BackdoorMBTI는 11개의 일반적으로 사용되는 데이터셋에서 세 가지 대표적인 모달리티를 통해 체계적인 백도어 학습 파이프라인(데이터 처리, 데이터 포이즈닝, 백도어 훈련 및 평가 포함)을 제공하여 백도어 방어 메커니즘의 상세한 평가를 가능하게 합니다. 데이터 품질 및 잘못된 라벨과 같은 실질적인 문제를 처리하기 위한 표준화된 접근 방식을 제공하며, 다중 모달 맥락에서 백도어 방어 메서드의 미래 연구를 가속화할 것으로 기대됩니다.
