본 논문은 다중 에이전트 강화 학습(MARL)에서 효과적인 보상 함수 설계의 어려움을 해결하기 위해 다단계 혼합 품질의 인간 피드백을 통합하는 새로운 프레임워크인 $\text{M}^3\text{HF}$를 제시합니다. $\text{M}^3\text{HF}$는 다양한 전문성 수준의 사람들이 반복적인 지도를 제공하도록 함으로써 전문가 및 비전문가 피드백을 활용하여 에이전트 정책을 지속적으로 개선합니다. 학습 과정 중 에이전트 학습을 전략적으로 일시 중지하고, 대규모 언어 모델을 사용하여 피드백을 분석하여 적절하게 할당하고, 사전 정의된 템플릿과 가중치 감소 및 성능 기반 조정을 사용하여 가중치를 적응적으로 조정함으로써 보상 함수를 업데이트합니다. 이 방법은 다양한 수준의 품질에 걸쳐 미묘한 인간의 통찰력을 통합하여 다중 에이전트 협력의 해석 가능성과 강건성을 향상시킵니다. 어려운 환경에서의 실험 결과는 $\text{M}^3\text{HF}$가 최첨단 방법을 크게 능가하며, MARL에서 보상 설계의 복잡성을 효과적으로 해결하고 교육 과정에 더 광범위한 인간 참여를 가능하게 함을 보여줍니다.
