Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Leveraging LLM Inconsistency to Boost Pass@k Performance

Created by
  • Haebom

저자

Uri Dalal, Meirav Segal, Zvika Ben-Haim, Dan Lahav, Omer Nevo

개요

본 논문은 대규모 언어 모델(LLM)의 입력 변화에 대한 불일치성(inconsistency)을 성능 향상에 활용하는 새로운 방법인 "Variator" 에이전트를 제시합니다. Variator는 주어진 작업에 대해 k개의 변형된 입력을 생성하고 각각에 대한 해결책을 제출합니다. 작업과 입력 형식에 구애받지 않는 이 방법의 효과는 이론적 확률 모델과 APPS 데이터셋을 이용한 실험적 결과를 통해 입증되었으며, 최신 추론 모델에서도 코딩 및 사이버 보안 분야에서 불일치성이 지속됨을 보여줍니다.

시사점, 한계점

시사점:
LLM의 불일치성을 활용하여 Pass@k 성능을 향상시키는 새로운 방법 제시.
작업 및 입력 형식에 구애받지 않는 범용적인 방법론.
이론적 모델과 실험적 결과를 통해 효과 입증.
미래 모델에도 적용 가능성 제시.
한계점:
APPS 데이터셋 외 다른 데이터셋에 대한 실험 결과 부족.
Variator 에이전트의 k 값 설정에 대한 최적화 전략 미제시.
불일치성의 원인에 대한 심층적인 분석 부족.
👍