Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Graph Based Deep Reinforcement Learning Aided by Transformers for Multi-Agent Cooperation

Created by
  • Haebom

저자

Michael Elrod, Niloufar Mehrabi, Rahul Amin, Manveen Kaur, Long Cheng, Jim Martin, Abolfazl Razi

개요

본 논문은 재난 대응, 환경 모니터링, 감시 등 분산된 목표 지점을 처리하는 애플리케이션에서 협력적인 자율 드론 함대의 임무 계획을 다룹니다. 부분 관측 가능성, 제한된 통신 범위, 불확실한 환경 하에서 기존 경로 계획 알고리즘은 특히 사전 정보가 없는 경우 어려움을 겪습니다. 이러한 문제를 해결하기 위해, 본 논문은 그래프 신경망(GNN), 심층 강화 학습(DRL), 그리고 트랜스포머 기반 메커니즘을 통합하는 새로운 프레임워크를 제안합니다. GNN은 적응형 그래프 구성을 통해 에이전트 간 및 에이전트-목표 상호 작용을 모델링하여 제한된 통신 환경에서 효율적인 정보 집계 및 의사 결정을 가능하게 합니다. 엣지 특징이 강화된 어텐션을 추가한 트랜스포머 기반 메시지 전달 메커니즘은 복잡한 상호 작용 패턴을 포착하고, 우선 순위 경험 재생을 사용하는 이중 심층 Q 네트워크(Double DQN)는 부분 관측 가능 환경에서 에이전트 정책을 최적화합니다. 이러한 통합은 확장성, 적응성, 효율적인 작업 실행과 같은 다중 에이전트 탐색의 특정 요구 사항을 충족하도록 설계되었습니다. 실험 결과는 입증된 알고리즘(PSO, 탐욕 알고리즘, DQN)과 비교하여 90%의 서비스 제공률, 100%의 그리드 적용 범위(노드 발견), 에피소드당 평균 단계 수를 600에서 200으로 줄이는 등 우수한 성능을 보여줍니다.

시사점, 한계점

시사점:
GNN, DRL, 트랜스포머를 통합한 새로운 프레임워크를 통해 제한된 통신 환경에서 다중 드론 협력 임무 계획의 효율성을 크게 향상시켰습니다.
부분 관측 가능 환경에서도 높은 서비스 제공률과 그리드 적용 범위를 달성했습니다.
기존 방법보다 에피소드당 평균 단계 수를 크게 감소시켰습니다.
한계점:
제안된 프레임워크의 실제 환경 적용 가능성에 대한 추가적인 연구가 필요합니다.
다양한 환경 및 임무 조건에 대한 로버스트성 평가가 추가적으로 필요합니다.
특정 환경 설정에 대한 최적화되어 있을 수 있으므로 일반화 성능에 대한 검증이 필요합니다.
계산 비용 및 복잡성에 대한 분석이 부족합니다.
👍