본 논문은 다중 에이전트 강화 학습(MARL)에서 특히 예측할 수 없는 상대 에이전트를 만났을 때 어려운 문제인 개체군-개체군 일반화 문제를 해결하기 위해 새로운 혼합 플레이 프레임워크인 양방향 증류(BiDist)를 제안합니다. BiDist는 두 방향으로 번갈아 지식 증류를 활용합니다. 전방 증류는 과거 정책 공간을 에뮬레이트하여 암묵적 자가 플레이를 생성하고, 역방향 증류는 비자가 플레이 방식으로 알려진 정책 공간 외부의 새로운 분포를 향해 에이전트를 체계적으로 유도합니다. 또한 BiDist는 과거 정책을 복잡하고 비용이 많이 드는 저장 없이 간결하고 효율적인 솔루션으로 작동합니다. 본 논문은 BiDist의 효과를 뒷받침하는 이론적 분석과 실험적 증거를 제공하며, 다양한 협력적, 경쟁적, 사회적 딜레마 작업에서 BiDist의 뛰어난 일반화 능력을 강조하고 정책 분포 공간을 상당히 다양화함을 보여줍니다. 또한 BiDist의 효과와 주요 성공 요인을 강화하기 위한 포괄적인 ablation 연구를 제시합니다. 소스 코드는 보충 자료에 있습니다.
