본 논문은 최신 대규모 언어 모델(LLM)의 접근성 제한을 극복하기 위해 소규모 오픈 LLM의 실용적 평가 프레임워크를 제안합니다. 세 가지 실용적 측면(작업 유형, 응용 분야, 추론 유형)과 다양한 프롬프트 스타일을 사용하여 출력의 의미적 정확성을 측정함으로써, 소규모 오픈 LLM을 실제 환경에서 평가합니다. 10개의 소규모 오픈 LLM을 심층 비교하여 특정 응용 프로그램 요구 사항에 따라 최적의 LLM 및 프롬프트 스타일을 식별하고, 적절히 선택된 소규모 오픈 LLM이 DeepSeek-v2, GPT-4o, GPT-4o-mini, Gemini-1.5-Pro와 같은 최첨단 LLM을 능가하거나 GPT-4o와 경쟁할 수 있음을 보여줍니다.
