Scaling Laws Meet Model Architecture: Toward Inference-Efficient LLMs

작성자

Haebom

카테고리

Empty

저자

Song Bian, Tao Yu, Shivaram Venkataraman, Youngsuk Park

💡 개요

기존 LLM 성능 향상 전략인 파라미터 및 데이터 크기 확장의 높은 추론 비용 문제를 해결하기 위해, 본 연구는 모델 아키텍처 요소(hidden size, MLP/Attention 파라미터 비율, GQA)가 정확도와 추론 효율성에 미치는 영향을 탐구합니다. 이를 위해 아키텍처 정보를 통합한 조건부 스케일링 법칙을 제안하고, 효율적이면서도 정확한 아키텍처 탐색 프레임워크를 개발했습니다. 그 결과, 제안된 조건부 스케일링 법칙은 최적의 아키텍처 선택을 효과적으로 예측했으며, 이를 통해 훈련 예산 동일 시 LLaMA-3.2 대비 최대 2.1% 높은 정확도와 42% 향상된 추론 처리량을 달성한 모델을 개발했습니다.

🔑 시사점 및 한계

•

LLM의 성능뿐만 아니라 추론 효율성까지 고려한 모델 설계의 중요성을 강조합니다.

•

모델 아키텍처 요소가 정확도와 추론 비용 간의 균형에 미치는 영향을 정량적으로 분석하여, 최적의 아키텍처 선택을 위한 가이드라인을 제시합니다.

•

제안된 조건부 스케일링 법칙과 탐색 프레임워크는 향후 효율적인 LLM 개발에 있어 중요한 기반이 될 것입니다.

•

본 연구는 30억 파라미터 규모까지의 모델을 대상으로 하였으며, 더 큰 규모의 LLM이나 다른 아키텍처 특징에 대한 탐구는 향후 연구 과제로 남습니다.

PDF 보기

Made with Slashpage