본 논문은 블랙박스 심층 생성 모델로부터 유효하고 작은 예측 집합을 생성하는 문제를 다룹니다. 주어진 입력(예: 텍스트 프롬프트)에 대해 모델의 출력(예: 소프트웨어 코드, 자연어 텍스트)을 샘플링하여 예측 집합을 생성하며, 사용자 정의 이진 허용 함수를 통해 예측 집합의 유효성을 결정합니다(예: 코드 생성 애플리케이션에서 테스트 케이스를 모두 통과하는 프로그램이 집합 내에 적어도 하나 존재해야 함). 이를 위해, 본 논문은 Generative Prediction Sets (GPS)라는 간단하고 효과적인 순응 추론 알고리즘을 개발합니다. GPS는 교정 예제 집합과 블랙박스 심층 생성 모델에 대한 접근 권한을 통해 증명 가능한 보장을 가진 예측 집합을 생성합니다. GPS의 핵심 아이디어는 허용 가능한 출력을 얻는 데 필요한 최소 샘플 수에 대한 분포 내의 고유 구조를 활용하여 최소 샘플 수에 대한 간단한 순응 회귀 접근 방식을 개발하는 것입니다. 다양한 대규모 언어 모델을 사용하여 코드 및 수학 문제에 대한 여러 데이터 세트에서의 실험을 통해 기존 최첨단 방법보다 GPS의 효과를 보여줍니다.
