Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Small Models, Big Tasks: An Exploratory Empirical Study on Small Language Models for Function Calling

Created by
  • Haebom
Category
Empty

저자

Ishan Kavathekar, Raghav Donakanti, Ponnurangam Kumaraguru, Karthik Vaidhyanathan

개요

본 논문은 자원 제약 환경에서의 함수 호출 생성을 위해 소형 언어 모델(SLM)의 효과를 평가하는 탐색적 실증 연구입니다. 정보 검색, 소프트웨어 엔지니어링, 자동화 등 다양한 분야에서 응용 가능한 복잡한 작업인 함수 호출을 효율적으로 처리하기 위해, 대형 언어 모델(LLM)의 대안으로 SLM을 제시합니다. 제로샷, 퓨샷, 파인튜닝 기법을 사용하여 다양한 도메인에서 SLM의 함수 호출 생성 능력을 평가하고, 프롬프트 주입의 영향도 분석합니다. 또한, 지연 시간 및 메모리 사용량 측면에서 에지 디바이스 상에서의 성능을 평가하고, 다양한 지표를 통해 모델 응답을 분석합니다. 파인튜닝된 모델을 공개하여 향후 응용을 지원합니다. 연구 결과, SLM은 제로샷보다 퓨샷, 퓨샷보다 파인튜닝에서 성능이 향상되지만, 출력 형식 준수에는 어려움을 보였으며, 프롬프트 주입에 대한 강건성을 보였습니다.

시사점, 한계점

시사점:
SLM이 자원 제약 환경에서 함수 호출 생성에 대한 실행 가능한 대안임을 제시합니다.
제로샷, 퓨샷, 파인튜닝 전략의 효과를 실험적으로 비교 분석합니다.
에지 디바이스에서의 SLM 성능 평가를 통해 실제 적용 가능성을 확인합니다.
파인튜닝된 모델을 공개하여 후속 연구를 지원합니다.
한계점:
SLM이 지정된 출력 형식을 준수하는 데 어려움을 보였습니다.
실시간 작동을 위해서는 추가적인 개선이 필요합니다.
👍