Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Temperature in SLMs: Impact on Incident Categorization in On-Premises Environments

Created by
  • Haebom
Category
Empty

저자

Marcio Pohlmann, Alex Severo, Gefte Almeida, Diego Kreutz, Tiago Heinrich, Louren\c{c}o Pereira

개요

SOC와 CSIRT는 사고 분류 자동화에 대한 압박을 받고 있지만, 클라우드 기반 LLM 사용은 비용, 지연 시간, 기밀성 위험을 초래합니다. 본 연구는 로컬에서 실행되는 SLM이 이 문제에 대응할 수 있는지 조사했습니다. 1B에서 20B 매개변수 범위의 21개 모델을 평가했으며, 온도 하이퍼파라미터를 변경하고 두 가지 다른 아키텍처에서 실행 시간과 정확도를 측정했습니다. 결과는 온도가 성능에 미치는 영향은 적고, 매개변수 수와 GPU 용량이 결정적인 요소임을 나타냅니다.

시사점, 한계점

온도 하이퍼파라미터는 SLM 성능에 큰 영향을 미치지 않음.
SLM의 성능은 매개변수 수와 GPU 용량에 크게 의존함.
로컬 SLM 사용은 클라우드 기반 LLM의 비용, 지연 시간 및 기밀성 위험을 완화할 수 있는 잠재력을 가짐.
본 연구는 두 가지 아키텍처에서만 평가를 진행하여, 다양한 아키텍처에 대한 일반화가 제한적일 수 있음.
21개의 모델만 평가하여, 모든 SLM 모델의 성능을 대표하지 못함.
👍