본 논문은 도구 기반 확장형 언어 모델(LLM)에서 특정 도구에 대한 학습 내용을 제거하는 '도구 언러닝(tool unlearning)'이라는 새로운 과제를 제시합니다. 기존의 언러닝과 달리, 개별 샘플이 아닌 지식 자체를 제거해야 하며, LLM 최적화의 높은 비용과 원칙적인 평가 지표의 필요성 등의 어려움이 존재합니다. 이러한 문제를 해결하기 위해, 본 논문에서는 도구 기반 LLM에서 도구를 효과적으로 언러닝하는 첫 번째 접근 방식인 ToolDelete를 제안합니다. ToolDelete는 효과적인 도구 언러닝을 위한 세 가지 주요 속성을 구현하며, 효과적인 평가를 위한 새로운 멤버십 추론 공격(MIA) 모델을 도입합니다. 다양한 도구 학습 데이터셋과 도구 기반 LLM에 대한 광범위한 실험을 통해 ToolDelete가 임의로 선택된 도구를 효과적으로 언러닝하는 동시에, 삭제되지 않은 도구에 대한 LLM의 지식과 일반적인 작업에 대한 성능을 유지함을 보여줍니다.
