본 논문은 저자원 환경에서 대규모 언어 모델(LLM)을 적응시키는 새로운 방법인 JoLA(Joint Localization and Activation Editing)를 제안합니다. 기존의 Parameter-efficient fine-tuning (PEFT) 방법들은 소량의 데이터에서는 효과가 제한적이지만, JoLA는 Transformer의 특정 헤드를 선택하고, 덧셈 또는 곱셈 방식으로 활성화 값을 수정하는 방식으로, 소량의 데이터를 가지고도 우수한 성능을 보입니다. 세 가지 벤치마크(상식 추론, 자연어 이해, 자연어 생성)를 통해 기존 방법들을 능가하는 성능을 입증하였으며, 코드 또한 공개하였습니다.
