CWind: A Cross-site Router for Large Language Model Inference Serving at Renewable Energy Farms
Author
- Haebom
Category
Empty
저자
Tella Rajashekhar Reddy, Atharva Deshmukh, Liangcheng Yu, Chaojie Zhang, Mike Shepperd, Rohan Gandhi, Anjaly Parayil, Srinivasan Iyengar, Ajay Manchepalli, Debopam Bhattacherjee
💡 개요
AI 연산 수요 증가로 인한 전력망 부담 문제를 해결하기 위해, 본 논문은 풍력 에너지 발전소에 모듈형 AI 컴퓨팅 시설을 도입하는 'AI Greeninferencing' 모델을 제안한다. 이는 재생 에너지 잉여분을 AI 연산 수요로 전환하여 지역적 전력 소비를 증대시키고 전력망 부담을 완화하는 것을 목표로 한다. 이를 위해 실시간 신호만을 이용하여 추론 요청을 동적으로 분산 및 관리하는 라우터 'CWind'를 개발하여, 기존 방식 대비 추론 지연 시간을 획기적으로 단축하는 성과를 입증하였다.
🔑 시사점 및 한계
•
AI 연산 인프라를 재생 에너지 생산지와 결합하여 전력망 부담을 완화하고 지속 가능한 AI 발전을 도모할 수 있다.
•
실시간 신호 기반의 'CWind' 라우터는 가변적인 재생 에너지 환경에서도 효율적인 AI 추론 서빙이 가능함을 보여준다.
•
본 연구는 풍력 발전에 집중하였으며, 다른 형태의 재생 에너지원이나 다양한 AI 워크로드에 대한 확장성 및 최적화 방안은 추가 연구가 필요하다.
