본 연구는 실제 MLOps 파이프라인 내에서 판별적 및 생성적 AI 모델의 에너지 소비에 대한 경험적 조사를 제시합니다. 판별적 모델의 경우, 학습 및 추론 중 다양한 아키텍처와 하이퍼파라미터를 검토하고 에너지 효율적인 관행을 식별합니다. 생성적 AI의 경우, 주로 다양한 모델 크기와 다양한 서비스 요청에 따른 에너지 소비에 중점을 두고 대규모 언어 모델(LLM)을 평가합니다. 본 연구는 다양한 구성, 모델 및 데이터 세트에서 복제가 용이하도록 소프트웨어 기반 전력 측정을 사용합니다. 여러 모델과 하드웨어 설정을 분석하여 다양한 메트릭 간의 상관 관계를 밝히고 에너지 소비에 대한 주요 요인을 파악합니다. 결과는 판별적 모델의 경우 아키텍처, 하이퍼파라미터 및 하드웨어를 최적화하면 성능을 저하시키지 않고 에너지 소비를 크게 줄일 수 있음을 나타냅니다. LLM의 경우 에너지 효율은 모델 크기, 추론 복잡성 및 요청 처리 용량 간의 균형에 따라 달라지며, 활용률이 낮으면 더 큰 모델이 반드시 더 많은 에너지를 소비하는 것은 아닙니다. 이 분석은 성능을 유지하면서 에너지 소비 및 탄소 발자국 감소를 강조하는 친환경적이고 지속 가능한 ML 운영을 설계하기 위한 실용적인 지침을 제공합니다. 본 논문은 다양한 유형의 AI 모델에 걸쳐 총 에너지 사용량을 정확하게 추정하기 위한 벤치마크 역할을 할 수 있습니다.
