본 논문은 사전 훈련된 대규모 언어 모델(LLM)을 특정 작업에 맞게 미세 조정하는 과정에서 발생하는 연합 학습의 비효율성 문제를 해결하기 위해 DropPEFT라는 새로운 연합 PEFT(Parameter-Efficient Fine-Tuning) 프레임워크를 제안합니다. DropPEFT는 스토캐스틱 트랜스포머 레이어 드롭아웃 기법을 사용하여 학습 중에 LLM의 상당 부분의 레이어를 비활성화함으로써 계산 부하와 메모리 사용량을 줄입니다. 특히 레이어별 드롭아웃 비율을 탐색-활용 전략을 통해 적응적으로 할당하여 효율적이고 효과적인 미세 조정을 달성합니다. 실험 결과, DropPEFT는 기존 최첨단 방법에 비해 모델 수렴 속도가 1.36.3배 빨라지고 메모리 사용량은 4067% 감소하는 것을 보여줍니다.
시사점, 한계점
•
시사점:
◦
연합 학습 환경에서 LLM의 미세 조정 효율성을 크게 향상시킬 수 있는 새로운 방법 제시.
◦
스토캐스틱 트랜스포머 레이어 드롭아웃과 적응적 드롭아웃 비율 할당 전략을 통해 계산 부하 및 메모리 사용량 감소.
◦
기존 방법 대비 속도 향상 및 메모리 사용량 감소 효과를 실험적으로 검증.
•
한계점:
◦
제안된 방법의 효과는 사용되는 LLM의 크기와 특성, 그리고 작업의 종류에 따라 달라질 수 있음.
