대규모 언어 모델 기반의 다중 에이전트 시스템은 여러 작업에서 강력한 성능을 보이지만, 높은 계산 오버헤드, 정보 손실, 견고성 문제로 여전히 제한됩니다. 본 논문에서는 ResNet의 잔차 학습에서 영감을 얻어 효율성과 신뢰성을 최적화하기 위해 잔차 연결을 통합한 Residual Mixture-of-Agents (RMoA)를 제안합니다. 모델 응답으로부터의 정보 활용을 극대화하고 계산 비용을 최소화하기 위해, 벡터 유사도를 통해 응답을 탐욕적으로 선택하는 임베딩 기반 다양성 선택 메커니즘을 새롭게 설계했습니다. 또한, 반복적인 정보 저하를 완화하기 위해 계층 간 응답 차이를 포착하여 계층 간 증분 정보를 보존하는 잔차 추출 에이전트와 계층적 정보 통합을 위한 잔차 집계 에이전트를 도입했습니다. 더불어, 잔차 수렴을 기반으로 처리를 동적으로 중단하는 적응형 종료 메커니즘을 제안하여 추론 효율성을 더욱 향상시켰습니다. RMoA는 정렬, 수학적 추론, 코드 생성, 다중 작업 이해 벤치마크에서 최첨단 성능을 달성하면서 계산 오버헤드를 상당히 줄였습니다. 코드는 https://github.com/mindhunter01/RMoA 에서 이용 가능합니다.
