본 논문은 오픈소스 대규모 언어 모델(LLM)의 증가와 다양한 하위 작업으로 인해 모든 후보 모델을 미세 조정하는 것이 계산상 비현실적이므로 효율적인 모델 선택이 필요하다는 문제를 제기합니다. 기존의 LLM 선택 방법의 발전에도 불구하고, 미세 조정 중 LLM의 동적 행동을 모델링하여 다양한 하위 작업에 대한 일반화 성능에 대한 이해를 높이는 방법에 대한 근본적인 연구 질문은 아직 초기 단계에 있습니다. 이를 해결하기 위해 본 논문은 LLM의 일반화 능력을 평가하기 위한 새로운 이론적 프레임워크를 제시합니다. 특히, LLM의 미세 조정 역학을 보여주는 PAC-Bayesian 일반화 경계를 도출하고, 다양한 작업에 걸쳐 정확한 성능 예측을 가능하게 하면서 계산 효율성을 유지하는 Neural Tangent Kernel(NTK) 기반 Rectified Scaling Model인 LENSLLM을 제안합니다. 3개의 대규모 벤치마크에 대한 광범위한 실험 결과는 제안된 모델이 최대 91.1%의 정확도를 달성하고 LLM 선택에서 최대 88.5%의 계산 비용을 줄이며, 5가지 최첨단 방법을 능가함을 보여줍니다. LENSLLM 모델과 결과는 LensLLM.io에서 공개됩니다.
