[공지사항]을 빙자한 안부와 근황 
Show more

Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Fine-Tune an SLM or Prompt an LLM? The Case of Generating Low-Code Workflows

Created by
  • Haebom

저자

Orlando Marquez Ayala, Patrice Bechard, Emily Chen, Maggie Baird, Jingfei Chen

개요

본 논문은 GPT-4와 같은 대규모 언어 모델(LLM)의 등장으로 인해 실세계 응용을 위한 소규모 언어 모델(SLM) 미세조정의 장점(빠른 추론, 낮은 비용)이 명확하지 않게 된 상황에서, 구조화된 출력을 필요로 하는 특정 도메인 작업에 대해 SLM이 여전히 품질 면에서 우위를 점한다는 증거를 제시한다. JSON 형태의 저코드 워크플로 생성 작업에서 SLM 미세조정과 LLM 프롬프팅을 비교하여, 좋은 프롬프트는 합리적인 결과를 산출할 수 있지만, 미세조정이 평균 10%의 품질 향상을 가져온다는 것을 확인하였다. 또한, 체계적인 오류 분석을 통해 모델의 한계를 밝혔다.

시사점, 한계점

시사점: 구조화된 출력이 필요한 특정 도메인 작업에서는 SLM 미세조정이 LLM 프롬프팅보다 더 높은 품질의 결과를 생성한다는 것을 실험적으로 증명하였다. 토큰 비용 감소에도 불구하고, SLM 미세조정의 실용적 가치를 확인하였다.
한계점: 본 연구는 특정 도메인(저코드 워크플로 생성)과 특정 작업(JSON 형태 출력)에 국한된 결과이다. 다른 도메인이나 작업에 대한 일반화 가능성은 추가 연구가 필요하다. 체계적인 오류 분석을 통해 모델의 한계를 밝혔으나, 이러한 한계를 극복하기 위한 구체적인 방안은 제시하지 않았다.
👍