해봄의 아카이브

인공지능은 작업 당, 얼만큼의 에너지를 필요로 할까요?

Haebom

Dec 1, 20232y ago

최근 카네기멜론 대학에서 진행한 <Power Hungry Processing: Watts Driving the Cost of AI Deployment?>연구에 따르면 1,000개의 이미지를 생성하는 것은 평균 가솔린 자동차로 4.1마일(6.6km)을 운전하는 것과 동일한 양의 이산화탄소를 배출을 한다는 것을 증명했습니다.

Power Hungry Processing- Watts Driving the Cost of AI Deployment?.pdf914.03KB

이 연구는 인공지능과 환경에 미치는 영향에 대한 연구로 Hugging Face와 카네기 멜론 대학의 연구팀이 이미지 생성, 이메일 작성, 챗봇 질문 등을 수행할 때 발생하는 탄소 배출량을 처음으로 계산했습니다.

작업	평균 에너지 사용량 (1,000번 추론 기준)	일상에서의 비유
이미지 분류	0.0068 kWh	스마트폰 거의 한 번 충전, LED 전구 40분 사용
텍스트 분류	0.0023 kWh	스마트폰 약 1/4 충전, LED 전구 14분 사용
텍스트 생성	0.042 kWh	스마트폰 약 3-4회 충전, LED 전구 28시간 사용
텍스트 요약	0.05 kWh	스마트폰 약 4-5회 충전, LED 전구 33시간 사용
이미지 설명	0.06 - 2.9 kWh	LED 전구 4-193시간 사용, 에어컨 20분-1.5시간 사용
이미지 생성	1.35 kWh	스마트폰 약 135회 충전, LED 전구 약 90시간 사용, 에어컨 30분-1시간 사용
기타 멀티모달 작업 (음성 등)	0.06 - 2.9 kWh	에어컨 20분-1.5시간 사용, 오븐 15분-1시간 사용
언어 모델링	0.002 - 0.007 kWh	LED 전구 10-35분 사용
번역	0.002 - 0.007 kWh	LED 전구 10-35분 사용
감정 분석	0.002 - 0.007 kWh	LED 전구 10-35분 사용

이 논문의 핵심은 사실 환경 보호나 탄소발자국 보다는... "큰 규모의 범용 AI 모델(GPT-4, LLaMA2 etc.) 사용은 특정 작업에 특화된 작은 모델을 사용하는 것보다 훨씬 더 많은 에너지를 소비한다." 예를 들어, 영화 리뷰를 분류하는 데 범용 모델을 사용하는 것은 특정 작업용으로 미세 조정된 모델을 사용하는 것보다 약 30배 더 많은 에너지를 소모한다는 것이 핵심 입니다. 결국 전력량은 비용과 직결 되기에 파운데이션 모델을 그대로 쓰는 것 보다 특정 도메인에 Finetuning된 모델이 훨씬 경제적 입니다.

좀 더 장기적 관점으로 보면 이러한 전력 사용량과 비용을 점점 최적화 될 것이기에 줄어든다는 가정을 하고 접근하는 게 필요하긴 합니다.

Subscribe to 'haebom'

Subscribe to my site to be the first to receive notifications and emails about the latest updates, including new posts.
Join Slashpage and subscribe to 'haebom'!