Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Better LLM Reasoning via Dual-Play

Created by
  • Haebom
Category
Empty

저자

Zhengxin Zhang, Chengyu Huang, Aochong Oliver Li, Claire Cardie

개요

PasoDoble는 외부 감독 없이 자체적으로 학습하는 새로운 LLM 듀얼 플레이 프레임워크입니다. Proposer는 ground-truth 답변과 함께 어려운 질문을 생성하고, Solver는 이를 해결하려고 시도합니다. 사전 학습된 데이터셋에서 지식을 활용하여 질문의 품질과 다양성을 높입니다. Proposer는 Solver의 한계를 시험하는 유효한 질문 생성에 대해 보상받고, Solver는 정확한 답변에 대해 보상받으며, 둘 다 공동으로 업데이트됩니다. 훈련 안정성을 위해 Proposer와 Solver 업데이트를 분리하는 오프라인 방식을 도입했습니다. 실험 결과는 PasoDoble가 LLM의 추론 능력을 향상시킬 수 있음을 보여줍니다.

시사점, 한계점

시사점:
외부 감독 없이 LLM의 추론 능력 향상 가능성을 제시함.
듀얼 플레이를 통해 LLM의 자기 학습 및 상호 진화 유도.
Proposer와 Solver의 역할 분담을 통한 효율적인 학습.
훈련 안정성을 위한 오프라인 학습 방식 도입.
한계점:
논문에서 구체적인 한계점이 언급되지 않음. (논문 요약에 한계점에 대한 언급이 없음)
👍