본 논문은 ChatGPT, CoPilot, Gemini와 같은 대규모 언어 모델(LLM)의 운영 단계에서 발생하는 환경적 영향, 특히 탄소 배출량, 물 사용량, 에너지 비용에 초점을 맞추고 있습니다. LLM의 추론 단계 운영 비용이 학습 비용보다 25배 이상 높을 수 있으며, 추론 단계의 누적 탄소 발자국이 학습 단계보다 훨씬 크다는 점을 지적합니다. 이러한 지속가능성 문제를 해결하기 위해, 지리적으로 분산된 클라우드 데이터센터에서 LLM 호스팅의 지속가능성을 향상시키는 머신러닝 기반 메타휴리스틱을 활용한 새로운 프레임워크인 SLIT을 제안합니다. SLIT은 LLM의 서비스 품질(첫 토큰까지의 시간), 탄소 배출량, 물 사용량, 에너지 비용을 공동 최적화합니다.
