Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Self-Questioning Language Models

Created by
  • Haebom

저자

Lili Chen, Mihir Prabhudesai, Katerina Fragkiadaki, Hao Liu, Deepak Pathak

개요

본 논문은 외부 데이터 없이, 대규모 언어 모델이 스스로 질문과 답변을 생성하여 성능을 향상시킬 수 있는지에 대한 연구를 제시합니다. 이를 위해 자기 질문 언어 모델(SQLM)이라는 비대칭 자가 학습 프레임워크를 제안합니다. SQLM은 질문을 생성하는 제안자와 답변을 생성하는 해결자로 구성되며, 강화 학습을 통해 훈련됩니다. 제안자는 적절한 난이도의 문제를 생성하는 것을 목표로 하고, 해결자는 다수결 투표를 통해 정답 여부를 판단받습니다. 코딩 문제의 경우, 제안자는 단위 테스트를 생성하고 해결자는 이를 통해 검증합니다. 세 자리 수 곱셈, OMEGA 벤치마크의 대수 문제, Codeforces의 프로그래밍 문제 등 세 가지 벤치마크에서 실험을 진행하여 외부 데이터 없이도 성능 향상을 확인했습니다.

시사점, 한계점

시사점:
외부 데이터 없이도 대규모 언어 모델의 추론 능력 향상이 가능함을 보여줌.
자가 학습 프레임워크를 통해 데이터 효율적인 학습 방법 제시.
다양한 문제 유형 (수학, 코딩)에 적용 가능성을 확인.
한계점:
다수결 투표를 정답 판정 기준으로 사용하는 것이 완벽한 정답 확인 방법이 아님.
제안된 프레임워크의 성능이 벤치마크에 따라 다를 수 있음.
자가 생성된 데이터의 품질에 대한 검증 필요.
👍