본 논문은 기초 모델을 특정 작업에 맞게 적응시키는 기존의 복잡하고 비용이 많이 드는 미세 조정 과정을 개선하기 위해, 자연어 설명만으로 대규모 언어 모델(LLM)을 즉시 적응시키는 모델인 Text-to-LoRA (T2L)을 제안합니다. T2L은 저렴한 단일 순전파를 통해 LoRA를 생성하도록 훈련된 하이퍼네트워크로, 9개의 사전 훈련된 LoRA 어댑터를 사용하여 훈련되었습니다. 실험 결과, T2L이 생성한 LoRA는 특정 작업에 맞는 어댑터와 동등한 성능을 보였으며, 수백 개의 LoRA 인스턴스를 압축하고 전혀 보지 못한 작업에도 제로샷 일반화가 가능함을 보여줍니다. 이는 기초 모델의 특수화를 민주화하고 최소한의 컴퓨팅 요구 사항으로 언어 기반 적응을 가능하게 하는 중요한 진전입니다.
