본 논문은 다중 모달 대규모 언어 모델(MLLMs)에서의 기계적 망각(MU) 문제를 다룬다. 기존의 MU 연구가 단일 모달에 집중된 것과 달리, 본 연구는 특정 개체와 관련된 시각적 패턴만 선택적으로 제거하고, 언어 모델 백본에 인코딩된 해당 텍스트 지식은 유지하는 MLLMs를 위한 MU 방법을 제안한다. 이를 위해 기하 제약 기반 기울기 상승법인 MMUnlearner를 개발하여, 망각 과정 중 나머지 개념과 텍스트 지식에 의해 제약된 가중치 중요도 맵을 이용하여 MLLMs의 가중치를 업데이트한다. 실험 결과, MMUnlearner는 기울기 상승(GA)이나 음수 선호도 최적화(NPO)를 통해 VQA 데이터로 MLLMs를 직접 미세 조정하는 기존 방법보다 모든 평가 지표에서 우수한 성능을 보였다.