The ML.ENERGY Benchmark: Toward Automated Inference Energy Measurement and Optimization
Created by
Haebom
저자
Jae-Won Chung, Jiachen Liu, Jeff J. Ma, Ruofan Wu, Oh Jun Kweon, Yuxuan Xia, Zhiyu Wu, Mosharaf Chowdhury
개요
본 논문은 실세계 서비스에서 생성형 AI 채택이 폭발적으로 증가함에 따라 에너지 소비가 주요 병목 현상으로 부각되고 있음을 지적합니다. ML 시스템 구축 시 에너지 소비량이 종종 간과되거나 제대로 이해되지 않는다는 점을 문제 삼고, 현실적인 서비스 환경에서 추론 에너지 소비량을 측정하기 위한 벤치마크 도구 및 리더보드인 ML.ENERGY Benchmark를 제시합니다. 논문에서는 ML 에너지 벤치마킹을 위한 네 가지 핵심 설계 원칙을 설명하고, ML.ENERGY Benchmark에 이 원칙들이 어떻게 구현되었는지 자세히 설명합니다. 또한, 6가지 다른 작업에서 40개의 널리 사용되는 모델 아키텍처에 대한 에너지 측정 결과, ML 설계 선택이 에너지 소비에 미치는 영향에 대한 사례 연구, 그리고 자동화된 최적화 권장 사항을 통해 모델의 계산 결과를 변경하지 않고도 에너지 소비를 40% 이상 절감할 수 있는 방법을 강조합니다. ML.ENERGY Benchmark는 오픈소스이며 다양한 사용자 정의 모델과 애플리케이션 시나리오로 쉽게 확장할 수 있습니다.
시사점, 한계점
•
시사점:
◦
현실적인 서비스 환경에서 생성형 AI의 에너지 소비량을 측정하고 최적화하기 위한 벤치마크 도구 및 리더보드 제공.
