본 논문은 요약 및 질의응답과 같은 장문 생성 작업에서 다중 에이전트 다중 모델 추론을 확장하여, 모델 생성 출력의 사실적 불일치를 제거하기 위한 수정을 통해 충실도를 향상시키는 방법을 제시합니다. 여러 인스턴스와 유형의 대규모 언어 모델(LLM) 간의 반복적인 협업이 오류 감지, 부정확한 문장 비판, 비판에 기반한 수정 등의 세부 작업을 어떻게 향상시키는지 조사합니다. 각 하위 작업에 대한 고유한 평가를 설계하여 다중 에이전트(여러 인스턴스) 및 다중 모델(다양한 LLM 유형) 접근 방식 모두 오류 감지 및 비판에 도움이 된다는 것을 발견했습니다. 또한, 비판 및 수정을 생성 작업이 아닌 재순위 지정 작업으로 재구성하면 다중 에이전트 성능이 향상됩니다. 이러한 통찰력을 Multi-Agent Multi-Model Refinement (MAMM-Refine)이라는 최종 "레시피"로 통합하여, 다중 에이전트 및 다중 모델 협업이 세 가지 요약 데이터 세트와 장문 질의응답에서 성능을 크게 향상시키는 것을 보여줍니다.
