본 논문은 다중 로봇 시스템에서의 복잡한 작업을 위한 효과적인 접근법으로, 대규모 언어 모델(LLM)을 다중 에이전트 강화 학습(MARL)과 통합한 새로운 LLM-Aided MARL (LAMARL) 방법을 제안합니다. LAMARL은 두 가지 모듈로 구성됩니다. 첫 번째 모듈은 LLM을 활용하여 사전 정책 및 보상 함수를 자동으로 생성하고, 두 번째 모듈인 MARL은 생성된 함수를 사용하여 로봇 정책 훈련을 효과적으로 안내합니다. 모의실험과 실제 실험을 통해 형태 조립 벤치마크에서 LAMARL의 장점을 보여주며, 사전 정책이 샘플 효율성을 평균 185.9% 향상시키고 작업 완료율을 높이며, Chain-of-Thought(CoT) 및 기본 API 기반의 구조화된 프롬프트가 LLM 출력 성공률을 28.5%-67.5% 향상시킨다는 것을 실험을 통해 증명합니다.