Holistically Evaluating the Environmental Impact of Creating Language Models
Created by
- Haebom
Category
Empty
저자
Jacob Morrison, Clara Na, Jared Fernandez, Tim Dettmers, Emma Strubell, Jesse Dodge
개요
본 논문은 2천만에서 130억 개의 활성 매개변수를 가진 일련의 언어 모델을 개발하는 과정에서 발생하는 실제 환경적 영향을 추정합니다. 하드웨어 제조, 모델 개발, 최종 훈련 실행을 고려한 결과, 해당 모델 시리즈는 493톤의 탄소 배출량(미국 가정 98채의 1년치 전력 소비량에 해당)과 276만 리터의 물 소비량(미국인 1인의 24.5년치 물 사용량에 해당)을 초래했습니다. 특히, 대부분의 모델 개발자가 공개하지 않는 모델 개발 단계의 환경적 영향이 훈련 단계의 약 50%에 달한다는 점을 밝혔습니다. 또한, 훈련 과정의 전력 사용량이 일정하지 않고 하드웨어 최대 전력 소비량의 15%에서 85%까지 변동한다는 점을 데이터를 통해 보여줍니다. 마지막으로, AI 시스템의 환경적 영향을 추정하는 어려움과 모델 개발자 및 대중을 위한 주요 시사점에 대해 논의합니다.
시사점, 한계점
•
시사점:
◦
대규모 언어 모델(LLM) 개발의 환경적 영향을 최초로 정량적으로 측정하고 보고했습니다.
◦
모델 개발 단계의 환경적 영향이 훈련 단계에 비해 상당히 크다는 것을 밝혔습니다.
◦
훈련 과정의 전력 사용량 변동이 에너지 그리드 계획에 부정적인 영향을 미칠 수 있음을 시사합니다.
◦
LLM 개발의 환경적 지속가능성에 대한 인식을 높이고, 더 나은 환경적 책임을 위한 노력의 필요성을 강조합니다.
•
한계점:
◦
본 연구는 특정 시리즈의 LLM 개발에 대한 환경적 영향을 평가한 것이므로, 다른 모델이나 개발 과정에 일반화하기 어려울 수 있습니다.
◦
AI 시스템의 환경적 영향을 완벽하게 추정하는 것은 여전히 어려우며, 본 연구에서 사용된 방법론에도 한계가 있을 수 있습니다.
◦
더욱 포괄적인 데이터와 분석이 필요하며, 환경 영향을 최소화하기 위한 구체적인 기술적, 정책적 해결책 제시에는 부족합니다.
