Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

A Comprehensive Survey of Machine Unlearning Techniques for Large Language Models

Created by
  • Haebom

저자

Jiahui Geng, Qing Li, Herbert Woisetschlaeger, Zongxiong Chen, Fengyu Cai, Yuxia Wang, Preslav Nakov, Hans-Arno Jacobsen, Fakhri Karray

개요

본 논문은 대규모 언어 모델(LLM) 내에서의 머신 언러닝 기법, 즉 LLM 언러닝을 조사합니다. LLM 언러닝은 재훈련 없이 전체 유용성을 유지하면서 LLM에서 원치 않는 데이터(예: 민감하거나 불법적인 정보)의 영향을 제거하는 원칙적인 접근 방식을 제공합니다. 증가하는 연구 관심에도 불구하고, 기존 연구를 체계적으로 정리하고 주요 통찰력을 추출하는 포괄적인 조사는 없습니다. 본 논문은 이러한 간극을 해소하고자 합니다. LLM 언러닝의 정의와 패러다임을 소개한 후, 기존 언러닝 연구에 대한 포괄적인 분류 체계를 제시합니다. 그 다음, 현재 언러닝 접근 방식을 범주화하고, 각각의 강점과 한계를 요약합니다. 또한, 평가 지표와 벤치마크를 검토하여 현재 평가 방법론에 대한 구조적인 개요를 제공합니다. 마지막으로, 미래 연구를 위한 유망한 방향을 제시하고, 이 분야의 주요 과제와 기회를 강조합니다.

시사점, 한계점

시사점: LLM 언러닝 분야의 포괄적인 조사를 최초로 제공하여 기존 연구를 체계적으로 정리하고 주요 통찰력을 도출합니다. 다양한 언러닝 접근 방식의 강점과 한계를 비교 분석하여 향후 연구 방향을 제시합니다. 평가 지표 및 벤치마크에 대한 구조적인 개요를 제공합니다.
한계점: 본 논문은 기존 연구에 대한 조사에 집중하며, 새로운 언러닝 기법을 제시하지는 않습니다. LLM 언러닝 분야의 빠른 발전 속도를 고려할 때, 논문 발표 이후 새로운 연구 결과가 나타날 수 있습니다. 모든 관련 연구를 포괄적으로 다루는 데 어려움이 있을 수 있습니다.
👍