본 논문은 계산 자원이 제한된 클라이언트 환경에서의 연합 학습을 위한 새로운 프레임워크인 FLAME을 제안합니다. 기존의 리소스 적응형 LoRA 연합 미세조정 방법들은 글로벌 LoRA 행렬의 압축 버전을 사용하여 클라이언트의 다양한 계산 자원을 수용하지만, 정보 손실로 인해 성능 저하가 발생합니다. FLAME은 희소 전문가 혼합(SMoE) 아키텍처를 기반으로 하며, 압축되지 않은 전체 글로벌 LoRA 행렬을 유지하면서 클라이언트별 활성화된 전문가 수를 변화시켜 클라이언트 측 적응성을 달성합니다. 부분 전문가 활성화로 인한 출력 크기 불일치 및 클라이언트 간 전문가 훈련 품질 불균형과 같은 문제를 경량 재조정 메커니즘 및 활성화 인식 집계 방식을 통해 해결합니다. 다양한 계산 환경에서의 실험 결과, FLAME은 기존 방법보다 성능이 우수함을 보여줍니다.
