본 논문은 오픈소스 대규모 언어 모델(LLM)의 증가와 다양한 하위 작업으로 인해 모든 후보 모델을 미세 조정하는 것이 계산상의 제약으로 비현실적이므로 효율적인 모델 선택이 필요하다는 문제를 제기합니다. 기존의 LLM 선택 연구의 한계를 극복하기 위해, 본 논문은 미세 조정 중 LLM의 동적 행동을 모델링하여 다양한 하위 작업에서의 일반화 성능을 이해하고 향상시키는 새로운 이론적 프레임워크를 제시합니다. 구체적으로, LLM의 미세 조정 역학을 보여주는 PAC-Bayesian 일반화 경계를 도출하고, 계산 효율성을 유지하면서 다양한 작업에서 정확한 성능 예측을 가능하게 하는 Neural Tangent Kernel(NTK) 기반 Rectified Scaling Model인 LENSLLM을 제안합니다. 3개의 대규모 벤치마크에 대한 광범위한 실험 결과는 제안된 모델이 최대 91.1%의 정확도를 달성하고 LLM 선택에서 최대 88.5%의 계산 비용을 절감하며, 기존 5가지 최첨단 방법을 능가함을 보여줍니다. LENSLLM 모델과 결과는 LensLLM.io에서 공개됩니다.
