본 논문은 저자들이 제안한 새로운 조건부 순환 확산 프레임워크인 ORAL을 소개한다. ORAL은 발전하는 대규모 언어 모델(LLM)에 대한 저랭크 적응(LoRA)에서 고품질 모델 가중치를 직접 합성하는 매개변수 생성 방법을 사용한다. 기존 방법들의 확장성과 제어성 문제를 해결하기 위해, 모델 아키텍처와 텍스트 작업 사양을 통합하는 새로운 조건화 메커니즘을 도입하여 작업별 LoRA 매개변수를 생성한다. 실험 결과, ORAL은 수십억 개의 매개변수를 가진 LLM에도 확장 가능하며, 제어 가능성을 유지하면서 기존 방법과 비교하여 동등하거나 우수한 성능을 달성함을 보여준다.
