EdgeProfiler는 경량화된 대규모 언어 모델(LLM)의 에지 시스템 성능 평가를 위한 빠른 프로파일링 프레임워크입니다. 기존 LLM의 높은 계산, 메모리, 전력 요구량으로 인해 클라우드 환경에 국한되는 문제를 해결하기 위해, TinyLLaMA, Gemma3.1B, Llama3.2-1B, DeepSeek-r1-1.5B 등의 압축된 LLM을 공격적인 양자화 기법과 엄격한 메모리 제약 조건 하에서 프로파일링합니다. 분석적 모델링을 통해 지연 시간, FLOPs, 에너지 소비량을 추정하며, 4비트 양자화를 통해 모델 메모리 사용량을 약 60-70% 줄이면서 정확도는 전체 정밀도 기준 대비 2-5% 이내로 유지함을 보여줍니다. 다양한 에지 장치에서 추론 속도는 FP16 기준 대비 2-3배 향상되고, INT4 구성에서 에너지 소비량은 35-50% 감소하여 Raspberry Pi 4/5 및 Jetson Orin Nano Super와 같은 하드웨어에서 실용적인 배포가 가능함을 보여줍니다. 결론적으로 경량 LLM의 에지 환경에 맞춘 효율적인 프로파일링의 중요성을 강조하며, 정확도, 에너지 효율 및 계산 가능성 간의 균형을 강조합니다.
