Oblivionis: A Lightweight Learning and Unlearning Framework for Federated Large Language Models
Created by
Haebom
Category
Empty
저자
Fuyao Zhang, Xinyu Yan, Tiantong Wu, Wenjie Li, Tianxiang Chen, Yang Cao, Ran Yan, Longtao Huang, Wei Yang Bryan Lim, Qiang Yang
개요
본 논문은 대규모 언어 모델(LLM)의 연합 학습(FL) 환경에서 개인 정보 보호를 강화하기 위해 개발된 Oblivionis 프레임워크를 소개합니다. Oblivionis는 GDPR과 같은 규제 준수를 위해 훈련 후 특정 클라이언트의 데이터를 선택적으로 제거할 수 있는 기능을 제공합니다. 이 프레임워크는 FL과 unlearning을 통합하여 LLM의 신뢰성을 높이고, 다양한 FL 및 unlearning 알고리즘을 평가하여 성능을 입증합니다.
시사점, 한계점
•
시사점:
◦
연합 학습 환경에서 데이터 삭제 기능을 제공하여 규제 준수 및 데이터 개인 정보 보호 강화.
◦
FL과 unlearning을 통합한 듀얼 최적화 목표 제시.
◦
다양한 FL 및 unlearning 알고리즘을 비교 분석하여 성능 평가.
◦
모델 유틸리티와 망각 효과 사이의 균형을 유지.
•
한계점:
◦
중앙 집중식 LLM unlearning에 비해 연합 학습 환경에서의 unlearning은 더 복잡함. (논문 내에서 언급)
