PopuLoRA: Co-Evolving LLM Populations for Reasoning Self-Play

작성자

Haebom

카테고리

Empty

저자

Roger Creus Castanyer, Geoffrey Bradway, Lorenz Wolf, Maxwill Lin, Augustine N. Mavor-Parker, Matthew James Sargent

💡 개요

본 논문은 LLM(거대 언어 모델)의 강화 학습 및 검증 가능한 보상(RLVR) 후 학습을 위한 인구 기반 비대칭 자기 플레이 프레임워크인 PopuLoRA를 제안합니다. Teachers와 students는 공유된 고정된 베이스 모델에 특화된 LoRA 어댑터로, Teachers는 문제를 생성하고 students는 프로그래밍 가능한 검증기에 의해 검증되는 문제 해결을 담당하며, 하위 개체군 간의 상호 평가가 단일 에이전트 자기 플레이의 한계를 극복합니다.

🔑 시사점 및 한계

•

상호 진화적 문제 복잡성 증가: 단일 에이전트 자기 플레이가 쉬운 문제 생성으로 수렴하는 반면, PopuLoRA는 Teachers가 점점 더 복잡한 문제를 생성하고 Students가 이를 해결하려는 상호 진화적 경쟁을 유도합니다.

•

광범위한 벤치마크 성능 향상: 훈련 시간 보상은 낮지만, PopuLoRA는 코드 및 수학 분야의 여러 벤치마크에서 단일 에이전트 기반 모델보다 우수한 성능을 보입니다.

•

개체군 구성원의 강점: 가장 약한 구성원조차도 개별적으로 기반 모델보다 더 나은 성능을 보여, 개체군 전체의 학습 효과를 입증합니다.

•

한계점/향후 과제: 훈련 중 낮은 보상으로 인한 학습 과정의 진동과, 개체군 크기 및 진화 연산자 최적화에 대한 추가 연구가 필요할 수 있습니다.

PDF 보기

Made with Slashpage