본 논문은 특정 행동을 유도하기 위해 LLM을 사후적으로 안내하는 실용적인 방법인 Steering 기법을 MLLM에 적용하는 연구를 소개한다. 특히, 입력 쿼리에 독립적으로 적용되는 기존의 Steering 기법의 한계를 지적하고, 입력에 따라 다른 동작을 하도록 유도하는 fine-grained steering 기법을 제안한다. 이를 위해 contrastive input-specific prompting을 사용하며, 테스트 시점에 입력-특정 프롬프트가 알려져 있지 않다는 점을 고려하여 입력-특정 Steering 벡터를 예측하는 작은 보조 모듈을 훈련하는 L2S (Learn-to-Steer)라는 접근 방식을 제안한다. L2S는 환각을 줄이고 MLLM의 안전성을 강화하며, 다른 정적 Baseline보다 우수한 성능을 보인다.
