Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Characterizing and Understanding Energy Footprint and Efficiency of Small Language Model on Edges

Created by
  • Haebom
Category
Empty

저자

Md Romyull Islam, Bobin Deng, Nobel Dhar, Tu N. Nguyen, Selena He, Yong Shi, Kun Suo

개요

본 연구는 클라우드 기반 LLM의 한계를 보완하기 위해 엣지 디바이스에서 소형 언어 모델(SLM)을 배포하는 것에 주목하여, Raspberry Pi 5, Jetson Nano, Jetson Orin Nano에서 5개의 대표적인 SLM(Llama 3.2, Phi-3 Mini, TinyLlama, Gemma 2)의 전력 효율성을 평가했다. GPU 가속을 활용한 Jetson Orin Nano가 최고의 에너지 효율을 보였으며, Llama 3.2가 정확도와 전력 효율성 사이에서 가장 균형 잡힌 성능을, TinyLlama는 낮은 정확도 희생 하에 저전력 환경에 적합함을 확인했다.

시사점, 한계점

•
시사점:
◦
Jetson Orin Nano의 GPU 가속이 가장 높은 에너지 효율성을 제공한다.
◦
Llama 3.2는 정확도와 전력 효율성 측면에서 가장 균형 잡힌 성능을 보인다.
◦
TinyLlama는 저전력 환경에 적합하지만 정확도가 낮다.
◦
GPU 가속, 메모리 대역폭, 모델 아키텍처는 추론 에너지 효율성을 최적화하는 데 중요하다.
◦
AI, 스마트 시스템, 모바일 플랫폼에서 정확도, 추론 지연 시간, 전력 효율성 간의 균형을 활용할 수 있는 실질적인 정보를 제공한다.
•
한계점:
◦
Phi-3 Mini는 높은 정확도에도 불구하고 가장 많은 에너지를 소비한다.
👍
Made with Slashpage