본 논문은 다중 작업 학습(MTL) 환경에서 매개변수 효율적인 미세 조정(PEFT) 방법 중 하나인 LoRA의 한계점을 해결하기 위해 MTL-LoRA를 제안합니다. LoRA는 다양한 작업의 고차원 특징들을 동일한 저차원 공간으로 투영하여 작업 간 간섭을 야기하는 문제점이 있습니다. MTL-LoRA는 LoRA에 추가적인 작업 적응 매개변수를 도입하여 작업별 정보를 구분하고 저차원 공간 내에서 다양한 작업 간 공유 지식을 포착함으로써 이 문제를 해결합니다. 자연어 이해, 상식 추론, 이미지-텍스트 이해 등 다양한 분야의 공개 벤치마크와 실제 산업용 데이터셋을 이용한 실험 결과, MTL-LoRA는 LoRA 및 그 변형들보다 우수한 성능을 보이며, 동시에 학습 가능한 매개변수 수는 비슷하거나 더 적습니다.
시사점, 한계점
•
시사점:
◦
LoRA의 MTL 환경에서의 한계점을 명확히 제시하고, 이를 개선하는 새로운 방법인 MTL-LoRA를 제안합니다.
◦
MTL-LoRA는 다양한 작업에 대한 적응력을 향상시키면서도 매개변수 효율성을 유지합니다.
◦
다양한 분야의 실험 결과를 통해 MTL-LoRA의 우수성을 검증합니다.
◦
산업 현장의 실제 데이터셋을 활용하여 실용적인 가치를 입증합니다.
•
한계점:
◦
제시된 실험 결과의 일반화 가능성에 대한 추가적인 검증이 필요합니다.
◦
MTL-LoRA의 성능 향상이 특정 데이터셋이나 작업에 편향되어 있을 가능성을 배제할 수 없습니다.
