본 논문은 저자원 환경에서 대규모 언어 모델(LLM)을 적응시키는 새로운 방법인 JoLA(Joint Localization and Activation Editing)를 제안합니다. 기존의 Parameter-efficient fine-tuning (PEFT) 방법들은 소량의 데이터에서는 효과가 제한적이지만, JoLA는 Transformer 내 특정 head를 선택하고, 덧셈 또는 곱셈 방식으로 활성화 값을 수정하는 방식으로 작은 매개변수 수로 높은 성능을 달성합니다. 세 가지 벤치마크(상식 추론, 자연어 이해, 자연어 생성)를 통해 기존 방법들보다 JoLA의 우수성을 실험적으로 증명하고, 코드를 공개합니다.
