Vocabulary Dropout for Curriculum Diversity in LLM Co-Evolution

Created by

Haebom

저자

Jacob Dineen, Aswin RRV, Zhikun Xu, Ben Zhou

💡 개요

본 논문은 자율적인 커리큘럼 학습을 목표로 하는 언어 모델(LLM) 공동 진화에서 발생하는 문제점, 즉 생성 모델(proposer)이 좁은 문제 분포로 수렴하여 학습 다양성이 무너지는 현상을 해결하고자 합니다. 이를 위해 제안된 "어휘 드롭아웃(vocabulary dropout)" 기법은 생성 모델의 출력 로짓에 무작위 마스크를 적용하여 토큰 시퀀스가 고정되는 것을 방지하고 학습 다양성을 유지합니다. 실험 결과, 이 기법은 어휘, 의미, 기능적 지표 전반에 걸쳐 생성 모델의 다양성을 유지하고, 특히 수학적 추론 능력에서 솔버(solver) 성능을 유의미하게 향상시키는 것으로 나타났습니다.

🔑 시사점 및 한계

•

생성 모델의 다양성 유지: 어휘 드롭아웃은 LLM 공동 진화 과정에서 생성 모델의 문제 생성 다양성을 효과적으로 유지하여 학습 커리큘럼을 더욱 풍부하게 만듭니다.

•

학습 성능 향상: 다양성이 유지된 커리큘럼은 문제 해결 모델의 성능을 전반적으로 향상시키며, 특히 높은 수준의 벤치마크에서 더욱 두드러진 개선을 보입니다.

•

한계점 및 향후 과제: 제안된 어휘 드롭아웃은 비교적 간단한 기법이지만, 공동 진화 과정에서 생산적인 협력을 유지하기 위한 명시적인 행동 공간 제약의 중요성을 시사합니다. 향후에는 이 원리를 더욱 발전시키거나 다른 형태의 제약을 탐구하는 연구가 필요할 수 있습니다.

PDF 보기

Made with Slashpage