From FLOPs to Footprints: The Resource Cost of Artificial Intelligence
Created by
- Haebom
Category
Empty
저자
Sophia Falk, Nicholas Kluge Correa, Sasha Luccioni, Lisa Biber-Freudenberger, Aimee van Wynsberghe
개요
AI의 환경적 영향을 평가하기 위해 에너지와 물 소비를 넘어 특수 하드웨어의 재료 수요를 포함해야 한다. 본 연구는 계산 작업 부하와 물리적 하드웨어 요구 사항을 연결하여 AI 훈련의 재료 발자국을 정량화했다. Nvidia A100 SXM 40GB GPU의 원소 조성을 분석한 결과 32개의 원소가 확인되었으며, AI 하드웨어는 약 90%의 중금속과 미량의 귀금속으로 구성되어 있다. 구리, 철, 주석, 실리콘 및 니켈이 GPU 구성의 질량에서 지배적이다. MFU(Model FLOPs Utilization) 및 하드웨어 수명에 따라 GPT-4를 훈련하는 데 1,174~8,800개의 A100 GPU가 필요하며, 최대 7톤의 유해 원소 추출 및 폐기가 필요하다. 소프트웨어 및 하드웨어 최적화 전략은 재료 수요를 줄일 수 있으며, MFU를 20%에서 60%로 증가시키면 GPU 요구 사항이 67% 감소하고, 수명을 1년에서 3년으로 연장하면 비슷한 절감 효과를 얻을 수 있다. GPT-3.5와 GPT-4 간의 증분 성능 향상은 과도한 재료 비용을 수반한다.
시사점, 한계점
•
AI 하드웨어의 재료적 측면을 고려하여 AI 확장성에 대한 논의에 포함해야 함.
•
AI 훈련에 사용되는 GPU의 재료적 구성과 양을 정량화하여 환경적 영향을 평가.
•
MFU 증가 및 하드웨어 수명 연장을 통해 AI 훈련의 재료 수요를 줄일 수 있음.
•
GPT-3.5와 GPT-4 간의 성능 향상이 과도한 재료 비용을 수반한다는 점을 지적.
•
AI의 미래 발전은 자원 효율성과 환경적 책임의 원칙에 부합해야 함을 강조.
•
연구는 특정 GPU 모델(Nvidia A100 SXM 40GB)에 국한되어 있으며, 다른 하드웨어의 재료 발자국은 다를 수 있음.
•
MFU 및 하드웨어 수명과 같은 변수에 대한 시나리오 기반 분석이 사용되었지만, 실제 환경에서의 변동성을 완전히 반영하지 못할 수 있음.
•
소프트웨어 및 하드웨어 최적화 전략의 구체적인 구현 방법과 효과에 대한 추가적인 연구가 필요함.
