본 논문은 대규모 언어 모델(LLM)의 불확실성 정량화를 위한 확장 가능한 베이지안 저차원 적응 방법인 ScalaBL을 제시합니다. 기존 베이지안 딥러닝 기반 접근 방식은 미세 조정된 모델의 저차원 적응(LoRA) 매개변수에 대한 추론을 수행하지만, LLM의 크기가 커짐에 따라 추가 매개변수가 증가하는 문제가 있습니다. ScalaBL은 LoRA 매개변수를 투영 행렬로 재사용하여 r차원 부분 공간에서 베이지안 추론을 수행하고, 이 부분 공간의 샘플을 LLM의 전체 가중치 공간으로 매핑합니다. 이를 통해 확률적 변분 추론을 사용하여 모든 매개변수를 학습하며, 기존 방법보다 훨씬 적은(약 1000개) 추가 매개변수만으로도 최첨단 성능을 달성합니다. 또한, 기존 연구보다 네 배 더 많은 기본 매개변수를 가진, 현재까지 가장 큰 베이지안 LLM으로 확장 가능함을 보여줍니다.
