본 논문은 자연어 처리 분야에서 중요한 연구 방향인 비꼬기 감지에 대해 다룬다. 기존의 단일 모달 방식(예: 텍스트)은 비꼬기의 함축적이고 미묘한 특성으로 인해 만족스러운 결과를 얻지 못하는 경우가 많았다. 따라서 본 논문은 다중 모달 접근 방식을 제안하며, 다양한 정보원에 대한 강력한 통합 처리 기능을 가진 다중 모달 대규모 언어 모델(MLLM)을 활용한 혁신적인 다중 모달 Commander-GPT 프레임워크를 제시한다. 군사 전략에서 영감을 얻어 비꼬기 감지 작업을 6개의 하위 작업으로 분해하고, 중앙 지휘관(의사 결정자)이 각 하위 작업에 가장 적합한 대규모 언어 모델을 할당한다. 최종적으로 각 모델의 감지 결과를 집계하여 비꼬기를 식별한다. MMSD 및 MMSD 2.0 데이터셋을 사용하여 네 가지 다중 모달 대규모 언어 모델과 여섯 가지 프롬프팅 전략을 통해 실험을 수행한 결과, 미세 조정이나 기저 사실 없이 F1 점수가 19.3% 향상되는 최첨단 성능을 달성했다.
