Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

FedMentor: Domain-Aware Differential Privacy for Heterogeneous Federated LLMs in Mental Health

Created by
  • Haebom

저자

Nobin Sarwar, Shubhashis Roy Dipta

FedMentor: 개인 정보 보호를 위한 대규모 언어 모델 적응

개요

본 논문은 민감한 도메인(예: 정신 건강)에서 대규모 언어 모델(LLM)의 개인 정보 보호 적응에 대한 연구를 제시합니다. 모델 유용성, 안전성 및 엄격한 기밀성을 균형 있게 유지하기 위해, Low-Rank Adaptation (LoRA)와 도메인 인식 차등 프라이버시(DP)를 통합하는 연합 미세 조정 프레임워크인 FedMentor를 제안합니다. FedMentor는 각 클라이언트(도메인)가 데이터 민감도에 비례하는 맞춤형 DP 노이즈 스케일을 적용하고, 서버는 유용성이 임계값 이하로 떨어질 경우 노이즈를 적응적으로 줄입니다. 세 개의 정신 건강 데이터 세트에서 실험을 수행하여, FedMentor가 표준 연합 학습(FL)보다 안전성을 향상시키고 독성을 낮추는 동시에 유용성을 유지함을 보여줍니다. 이 프레임워크는 단일 GPU 클라이언트에서 최대 17억 개의 매개변수를 가진 백본으로 확장 가능하며, 라운드당 173MB 미만의 통신만 필요합니다.

시사점, 한계점

•
시사점:
◦
FedMentor는 개인 정보 보호를 유지하면서도 LLM의 안전성과 유용성을 향상시키는 연합 학습 기반 프레임워크를 제공합니다.
◦
정신 건강 분야와 같이 민감한 데이터를 다루는 분야에서 LLM을 안전하게 배포할 수 있는 실용적인 방법을 제시합니다.
◦
LoRA와 DP를 결합하여 모델의 유용성과 개인 정보 보호 사이의 균형을 효과적으로 달성합니다.
◦
실험 결과는 FedMentor가 안전한 출력 비율을 높이고 독성을 낮추며, 비공개 기준선 및 중앙 집중식 상한선에 근접하는 유용성을 유지함을 보여줍니다.
◦
단일 GPU 환경에서 대규모 모델을 지원하며, 통신 비용이 적습니다.
•
한계점:
◦
특정 데이터 세트(정신 건강 관련)에 대한 실험 결과만 제시되어 다른 민감한 도메인으로의 일반화 가능성을 추가적으로 검증해야 합니다.
◦
모델의 성능과 개인 정보 보호 간의 최적 균형을 위한 추가적인 연구가 필요할 수 있습니다.
◦
DP의 적용으로 인한 유용성 손실에 대한 추가적인 분석이 필요합니다.
◦
LoRA와 DP의 구체적인 상호 작용 및 최적화에 대한 추가 연구가 필요합니다.
👍
Made with Slashpage