Daily Arxiv

This page organizes papers related to artificial intelligence published around the world.
This page is summarized using Google Gemini and is operated on a non-profit basis.
The copyright of the paper belongs to the author and the relevant institution. When sharing, simply cite the source.

UniGame: Turning a Unified Multimodal Model Into Its Own Adversary

Created by
  • Haebom
Category
Empty

저자

Zhaolong Su, Wang Lu, Hao Chen, Sharon Li, Jindong Wang

개요

Unified Multimodal Models (UMMs)의 이해와 생성 간의 불일치를 해결하기 위한 자기-적대적 사후 훈련 프레임워크인 UniGame을 제시합니다. UniGame은 공유 토큰 인터페이스에 경량 교란기를 적용하여 모델 자체가 자체적인 적대자가 되도록 합니다. 이는 일관성, 이해, 생성 능력, 그리고 OOD 및 적대적 견고성을 향상시킵니다. UniGame은 아키텍처에 독립적이며 추가 파라미터가 1% 미만이며 기존의 사후 훈련 방법과 보완됩니다.

시사점, 한계점

시사점:
UMMs의 일관성을 획기적으로 향상시킴 (4.6%).
이해, 생성, OOD 및 적대적 견고성 모두에서 상당한 개선을 보임.
아키텍처에 구애받지 않으며, 적은 수의 추가 파라미터를 사용.
향후 멀티모달 모델의 일관성, 안정성 및 통합 역량을 강화하는 일반적이고 효과적인 원리로 작용.
한계점:
논문에서 직접적으로 언급된 한계점은 없음. (하지만, 연구의 범위는 UMMs에 국한됨.)
👍