본 논문은 대규모 다중모달 모델(LMMs)에서의 현실적인 언러닝(unlearning) 시나리오를 위한 PULSE 프로토콜을 제안합니다. 기존 LMMs 언러닝 벤치마크는 단일 언러닝 연산을 통한 미세 조정된 지식 제거 시나리오만 고려하는 한계가 있습니다. PULSE는 (i) 사전 훈련 지식 언러닝을 통해 다양한 지식 획득 단계에 걸친 효과 분석과 (ii) 장기적 지속 가능성 평가를 통해 순차적인 요청을 다루는 두 가지 중요한 관점을 도입하여 이러한 한계를 극복합니다. 기존 언러닝 방법들을 PULSE 프로토콜을 이용하여 평가한 결과, 일부 기법은 미세 조정을 통해 획득한 지식을 성공적으로 제거하지만, 사전 훈련 중 학습된 정보를 제거하는 데는 어려움을 겪는다는 것을 발견했습니다. 또한, 한 번의 연산으로 대량의 대상 데이터를 효과적으로 언러닝하는 방법은 동일한 데이터를 분할하여 순차적으로 언러닝할 경우 성능 저하가 상당함을 보였습니다.
