Chain-of-Thought (CoT) 추론은 대규모 언어 모델(LLM)의 문제 해결 능력을 향상시켰지만, 기존 CoT는 디코딩 중 내적 결정론으로 인해 가능한 대안 탐색을 제한한다. 최근 방법들은 소프트 추상 토큰을 생성하여 연속적인 의미 공간에서 추론을 가능하게 하려 시도하지만, 오토회귀 디코딩의 탐욕적인 본질로 인해 대안적 추론 가능성으로부터 모델이 고립되는 문제가 여전하다. 본 연구에서는 추론 과정에 집단적 통찰력을 명시적으로 주입하는 새로운 강화 학습 프레임워크인 Multi-Path Perception Policy Optimization (M3PO)를 제안한다. M3PO는 병렬 정책 롤아웃을 자연스럽게 다양한 추론 소스로 활용하고, 가벼운 협업 메커니즘을 통해 교차 경로 상호 작용을 정책 업데이트에 통합한다. 이를 통해 각 궤적이 동료 피드백을 통해 추론을 개선하여 보다 신뢰할 수 있는 다단계 추론 패턴을 구축한다. 실험 결과 M3PO는 지식 및 추론 집약적 벤치마크에서 최고 성능을 달성했다. M3PO로 훈련된 모델은 해석 가능성과 추론 효율성을 유지하여 강력한 추론을 위한 다중 경로 협업 학습의 가능성을 보여준다.
