PasoDoble는 외부 감독 없이 자체적으로 학습하는 새로운 LLM 듀얼 플레이 프레임워크입니다. Proposer는 정답과 함께 어려운 질문을 생성하고 Solver는 이를 해결하려고 시도합니다. Proposer는 질문의 품질과 다양성을 위해 사전 학습 데이터 세트에서 지식을 얻습니다. 보상 해킹을 방지하기 위해 Proposer는 Solver의 한계를 밀어내는 유효한 질문을 생성하는 것에 대해 보상을 받으며, Solver는 질문을 올바르게 해결하는 것에 대해 보상을 받습니다. 훈련 안정성을 높이기 위해 Proposer와 Solver 업데이트를 분리하는 선택적 오프라인 패러다임을 도입했습니다. 실험 결과는 PasoDoble가 LLM의 추론 성능을 향상시킬 수 있음을 보여줍니다.
