본 논문은 분산 환경에서의 파라미터 효율적인 미세 조정(PEFT) 방법, 특히 저랭크 적응(LoRA)의 한계점을 해결하기 위해 제안된 FediLoRA 프레임워크를 제시합니다. 기존의 연합 학습 기반 LoRA 방법들은 동일한 랭크 구성과 단일 모달 입력을 가정하지만, FediLoRA는 이러한 가정을 벗어나 이종 클라이언트 자원(서로 다른 LoRA 랭크)과 모달 정보 누락이라는 현실적인 문제를 고려합니다. FediLoRA는 차원별 집계 전략을 통해 정보 희석 없이 LoRA 업데이트 가중치를 재조정하고, 경량화된 계층별 모델 편집 방법을 통해 지역 구성 요소를 개선하여 클라이언트 및 글로벌 모델 성능을 향상시킵니다. 다양한 모달 벤치마크 데이터셋을 이용한 실험 결과, FediLoRA는 특히 모달 정보가 불완전한 경우 경쟁 기법보다 우수한 성능을 보임을 확인했습니다.
