본 논문은 연합 학습(Federated Learning, FL) 환경에서 대규모 언어 모델(Large Language Model, LLM)을 효율적으로 미세 조정하기 위한 새로운 방법을 제안합니다. 기존의 LoRA 기반 방법들의 연합 학습 환경에서의 성능 저하 문제를 해결하기 위해, 트랜스포머 블록의 피드포워드 네트워크 내부에 존재하는 두 개의 기존 MLP 레이어(up proj 및 down proj) 사이에 작은 다층 퍼셉트론(MLP) 레이어를 추가하는 간단하면서도 효과적인 방법을 제시합니다. 이 방법은 LoRA에 의존하지 않으며, 언어 모델과 비전 인코더 모두에서 기존 LoRA 기반 접근 방식보다 우수한 성능을 보여줍니다.
