RoSA는 대규모 언어 모델의 효율적인 파인튜닝을 위한 새로운 Parameter-Efficient Fine-Tuning (PEFT) 프레임워크입니다. RoPE (Rotary Position Embeddings)의 저주파수 성분이 중요하게 작용한다는 관찰에 기반하여, RoPE-aware Attention Enhancement (RoAE) 모듈을 통해 RoPE의 저주파수 성분을 선택적으로 강화하고, Dynamic Layer Selection (DLS) 전략을 사용하여 LayerNorm gradient norms에 기반하여 가장 중요한 레이어를 동적으로 선택하여 업데이트합니다. 이를 통해 보다 효율적인 파인튜닝을 달성합니다. 15개의 벤치마크 실험에서 기존 PEFT 방법보다 우수한 성능을 보였습니다.
시사점, 한계점
•
시사점:
◦
RoPE의 특성을 활용하여 어텐션 메커니즘의 저주파수 성분을 효과적으로 강화하여 파인튜닝 효율성을 향상시켰습니다.
◦
Dynamic Layer Selection 전략을 통해 중요한 레이어를 동적으로 선택하여 파라미터 효율성을 높였습니다.
