VeRA: Verified Reasoning Data Augmentation at Scale

Created by

Haebom

저자

Zerui Cheng, Jiashuo Liu, Chunjie Wu, Jianzhu Yao, Pramod Viswanath, Ge Zhang, Wenhao Huang

💡 개요

본 논문은 기존 AI 평가 방식의 반복성과 한계를 극복하기 위해 VeRA(Verified Reasoning Data Augmentation)라는 새로운 프레임워크를 제안합니다. VeRA는 자연어 템플릿, 유효한 설정을 샘플링하는 생성기, 그리고 문제의 매개변수를 검증하고 정답을 계산하는 검증기로 구성되어, 단일 문제로부터 무한히 많은 검증된 문제 변형을 자동 생성합니다. 이 방식은 인간 개입 없이도 신뢰할 수 있는 레이블을 거의 제로 비용으로 확보할 수 있어, AI 평가의 견고성과 효율성을 크게 향상시킵니다.

🔑 시사점 및 한계

•

평가 방식의 혁신: VeRA는 정적인 평가 데이터를 넘어, 필요에 따라 신선하고 검증된 평가 데이터를 무한히 생성할 수 있는 동적인 프레임워크를 제시하여 AI 모델의 진정한 추론 능력을 측정하는 새로운 패러다임을 구축합니다.

•

데이터 오염 방지 및 난이도 조절: VeRA-E 모드는 데이터 오염 패턴을 탐지하고 모델의 기억 능력과 실제 추론 능력을 구분하는 데 도움을 주며, VeRA-H 모드는 복잡성을 체계적으로 증가시켜 사람이 직접 생성하기 어려운 고난도 문제를 신뢰할 수 있는 레이블과 함께 생성합니다.

•

확장성과 범용성: 검증 가능한 도메인이라면 VeRA를 통해 평가 데이터를 비용 효율적으로 무한히 확장할 수 있으며, 소스 코드와 데이터셋을 공개하여 향후 연구에 기여합니다.

PDF 보기

Made with Slashpage