Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Don't Deceive Me: Mitigating Gaslighting through Attention Reallocation in LMMs

Created by
  • Haebom

저자

Pengkun Jiao, Bin Zhu, Jingjing Chen, Chong-Wah Ngo, Yu-Gang Jiang

개요

본 논문은 대규모 다중 모달 모델(LMMs)의 가스라이팅(특히 부정적 진술을 이용한 가스라이팅) 취약성 문제를 해결하기 위해, 재훈련이나 추가적인 감독 없이 주의 가중치를 재분배하는 접근 방식인 GasEraser를 제안합니다. GasEraser는 오해의 소지를 일으키는 텍스트 토큰의 영향력을 억제하고 시각적으로 근거한 단서에 대한 집중도를 높임으로써, LMM의 강건성을 향상시킵니다. 여러 주요 오픈소스 LMM에 대한 실험 결과, GasEraser가 가스라이팅에 대한 저항력을 상당히 향상시키는 것을 보여줍니다. 특히 LLaVA-v1.5-7B의 경우 오류율을 48.2% 감소시켰습니다.

시사점, 한계점

시사점:
LMM의 가스라이팅 취약성 문제에 대한 효과적인 해결책 제시
재훈련 없이 LMM의 강건성을 향상시키는 training-free 접근 방식 제시
시각적 단서를 활용하여 텍스트 기반의 가스라이팅에 대한 방어력 강화
다양한 LMM에서 효과적으로 작동하는 일반적인 방법론 제시
한계점:
GasEraser의 성능은 사용된 LMM과 가스라이팅 데이터셋에 따라 달라질 수 있음.
시각 정보에만 의존하는 방식으로, 시각 정보가 부족하거나 불명확한 경우 효과가 감소할 수 있음.
모든 유형의 가스라이팅에 효과적이라는 보장은 없음. 특히 부정적인 진술을 넘어서는 다양한 가스라이팅 전략에는 추가 연구가 필요함.
GasEraser가 특정 종류의 가스라이팅에 편향될 가능성 존재.
👍