Leveraging LLM Inconsistency to Boost Pass@k Performance
Created by
Haebom
저자
Uri Dalal, Meirav Segal, Zvika Ben-Haim, Dan Lahav, Omer Nevo
개요
본 논문은 대규모 언어 모델(LLM)의 입력 변화에 대한 불일치성(inconsistency)을 성능 향상에 활용하는 새로운 방법인 "Variator" 에이전트를 제시합니다. Variator는 주어진 작업에 대해 k개의 변형된 입력을 생성하고 각각에 대한 해결책을 제출합니다. 작업과 입력 형식에 구애받지 않는 이 방법의 효과는 이론적 확률 모델과 APPS 데이터셋을 이용한 실험적 결과를 통해 입증되었으며, 최신 추론 모델에서도 코딩 및 사이버 보안 분야에서 불일치성이 지속됨을 보여줍니다.