LoRA(Low-Rank Adaptation)는 대규모 언어 모델 미세 조정을 위한 매개변수 효율적인 접근 방식입니다. 그러나 기존 LoRA 어댑터는 일반적으로 단일 작업에 대해 훈련되어, 다양한 도메인을 포괄하는 실제 환경에서 적용이 제한됩니다. 이 연구에서는 추가 요구 사항 없이 인스턴스 수준에서 동적으로 어댑터를 선택하고 병합하는 훈련 없는 프레임워크인 LoRA on the Go (LoGo)를 소개합니다. LoGo는 LoRA 어댑터를 통해 단일 정방향 패스를 통해 추출된 신호를 활용하여 가장 관련성이 높은 어댑터를 식별하고 즉석에서 기여도를 결정합니다. 5개의 NLP 벤치마크, 27개의 데이터 세트 및 3개의 모델 제품군에 걸쳐 LoGo는 일부 작업에서 최대 3.6%의 차이로 훈련 기반 기준선을 능가하는 동시에 다른 작업에서 경쟁력을 유지하고 추론 처리량을 유지하여 효과와 실용성을 강조합니다.
