Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Federated style aware transformer aggregation of representations

Created by
  • Haebom
Category
Empty

저자

Mincheol Jeon, Euinam Huh

FedSTAR: 스타일 인식 연합 학습 프레임워크

개요

본 논문은 다양한 클라이언트 데이터, 불균형한 참여, 엄격한 통신 제약과 같은 문제를 겪는 개인화된 연합 학습(PFL)의 어려움을 해결하기 위해 FedSTAR를 제안한다. FedSTAR는 클라이언트별 스타일 요소를 공유된 콘텐츠 표현으로부터 분리하는 스타일 인식 연합 학습 프레임워크이다. Transformer 기반의 어텐션 메커니즘을 사용하여 클래스별 프로토타입을 집계하여 서버가 개인화를 유지하면서 클라이언트 기여도를 적응적으로 가중치를 부여할 수 있도록 한다. FedSTAR는 전체 모델 파라미터 대신 컴팩트한 프로토타입과 스타일 벡터를 교환하여 통신 오버헤드를 줄인다.

시사점, 한계점

시사점:
콘텐츠-스타일 분리를 통해 개인화된 모델 학습 가능
어텐션 기반 프로토타입 집계를 통해 이질적인 환경에서 강건성 향상
통신 비용 증가 없이 성능 향상
한계점:
논문에 제시된 한계점은 명시되지 않음.
👍