Beyond Static Snapshots: A Grounded Evaluation Framework for Language Models at the Agentic Frontier

작성자

Haebom

카테고리

Empty

저자

Jazmia Henry

💡 개요

본 논문은 기존 대규모 언어 모델(LLM) 평가 프레임워크의 네 가지 근본적인 문제점(분포, 시간, 범위, 프로세스 무효성)을 지적하며, 특히 강화학습 기반 인간 피드백(RLHF)에서 발생하는 보상 해킹 문제를 야기한다고 주장합니다. 이를 해결하기 위해 제안된 GCE(Grounded Continuous Evaluation) 프레임워크의 구현체인 ISOPro는 결정론적 검증기를 사용하여 보상 해킹을 원천적으로 방지하고, LoRA 어댑터를 CPU에서 업데이트하여 하드웨어 요구 사항을 대폭 낮춥니다.

🔑 시사점 및 한계

•

보상 해킹 문제 해결: ISOPro는 학습 기반 보상 모델 대신 결정론적 검증기를 사용하여, 검증 가능한 보상 도메인에서 보상 해킹을 구조적으로 제거합니다.

•

하드웨어 효율성 향상: LoRA 어댑터를 CPU에서 업데이트함으로써 LLM 평가에 대한 하드웨어 장벽을 크게 낮추어 재현성을 높입니다.

•

성능 향상 및 일반화 능력 증진: 제안된 프레임워크는 다양한 아키텍처와 도메인에서 기존 방법론 대비 상당한 능력 향상을 보여주었으며, 특히 MBPP 데이터셋에서 높은 수준의 구성 일반화 능력을 달성했습니다.

•

버퍼-왜곡(buffer-skew) 실패 모드: 암시적 커리큘럼이 특정 조건 하에서 기존 능력을 저하시킬 수 있는 "버퍼-왜곡"이라는 새로운 실패 모드를 발견했으며, 이에 대한 완화 전략을 제시합니다.

PDF 보기

Made with Slashpage