Reinforcement Learning-based Approach for Vehicle-to-Building Charging with Heterogeneous Agents and Long Term Rewards
작성자
- Haebom
카테고리
비어 있음
저자
Fangqi Liu, Rishav Sen, Jose Paolo Talusan, Ava Pettet, Aaron Kandel, Yoshinori Suzue, Ayan Mukhopadhyay, Abhishek Dubey
개요
본 논문은 전기차 배터리를 에너지 저장 장치로 활용하여 전력망 수요를 최적화하는 새로운 강화학습(RL) 프레임워크를 제시한다. 특히 대규모 사무실 건물의 근무시간 충전을 고려하여, 피크 에너지 비용 및 순 피크 수요를 줄이도록 충전 및 방전을 최적화하는 문제를 다룬다. 기존의 휴리스틱 기반 전략이나 전통적인 RL 모델의 한계를 극복하기 위해, DDPG(Deep Deterministic Policy Gradient) 알고리즘에 액션 마스킹과 효율적인 MILP(Mixed Integer Linear Programming) 기반 정책 안내를 결합한 새로운 접근 방식을 제안한다. 실제 전기차 제조업체의 데이터를 사용한 실험 결과, 제안된 방법이 기존의 여러 기준 모델 및 확장 가능한 휴리스틱 방법보다 우수한 성능을 보이며, 모든 충전 요구사항을 충족하면서 상당한 비용 절감을 달성함을 보여준다. 본 연구는 V2B(Vehicle-to-Building) 에너지 관리 문제에 대한 확장 가능하고 일반적인 접근 방식을 제시한다는 점에서 의의를 가진다.
시사점, 한계점
•
시사점:
◦
전기차 배터리를 활용한 V2B 에너지 관리 문제에 대한 효율적이고 확장 가능한 해결책 제시.
◦
DDPG와 액션 마스킹, MILP 기반 정책 안내의 결합을 통한 RL 성능 향상.
◦
실제 데이터 기반의 실험을 통해 제안된 방법의 우수성 검증 및 상당한 비용 절감 효과 확인.
◦
스마트하고 연결된 커뮤니티, 특히 대규모 사무실 건물의 에너지 효율 향상에 기여.
•
한계점:
◦
제안된 모델의 일반화 성능에 대한 추가적인 검증 필요. 다양한 환경 및 조건에서의 성능 평가가 더 필요하다.
◦
실제 구현 및 배포 시 발생할 수 있는 기술적 어려움 및 비용에 대한 고려 부족.
◦
장기적인 관점에서의 에너지 관리 전략 및 배터리 수명 관리에 대한 고려 부족.
◦
MILP의 계산 복잡도에 대한 고려 및 최적화 필요성.
