Sparsity May Be All You Need: Sparse Random Parameter Adaptation
Created by
Haebom
저자
Jesus Rios, Pierre Dognin, Ronny Luss, Karthikeyan N. Ramamurthy
개요
본 논문은 대규모 언어 모델의 파라미터 효율적인 미세 조정(PEFT) 방법을 제안합니다. 기존의 전체 파라미터 미세 조정 방식은 모델 크기 증가에 따라 비용이 과다하게 증가하는 문제점을 가지는데, 본 논문에서는 LoRA와 같은 기존 PEFT 방법들과 달리, 전체 파라미터 중 일부를 무작위로 선택하여 학습시키는 간단한 방법을 제안합니다. 이 방법의 효율성과 성능을 LoRA 및 전체 파라미터 미세 조정과 비교 분석합니다.
시사점, 한계점
•
시사점:
◦
기존 PEFT 방법들보다 더욱 단순하고 구현이 용이한 PEFT 방법을 제시합니다.
◦
전체 파라미터 미세 조정 대비 컴퓨팅 자원 및 메모리 사용량을 크게 줄일 수 있는 가능성을 제시합니다.
•
한계점:
◦
제안된 방법의 성능이 LoRA와 같은 기존 PEFT 방법들에 비해 얼마나 우수한지에 대한 실험적 검증 결과가 부족합니다.
◦
무작위로 파라미터를 선택하는 방식의 한계로 인해, 최적의 파라미터 선택 전략에 대한 추가적인 연구가 필요합니다.
