본 논문은 대규모 언어 모델(LLM) 정렬을 위한 새로운 프레임워크인 ZEBRA를 제안합니다. 기존의 LLM 정렬 연구는 인간 또는 AI 어노테이터를 통해 대규모 선호도 데이터셋을 구축하는 데 초점을 맞춰왔지만, 이는 인스턴스 단위의 감독에 의존하여 높은 비용과 해석의 어려움을 야기합니다. ZEBRA는 벤치마크 성능에서 파생된 모델 행동 지식을 활용하여 선호도 데이터를 생성하는 모델 행동 기반의 제로 어노테이션 프레임워크입니다. ZEBRA는 모델의 품질과 유사성을 평가하여 응답 쌍을 이진화하며, 인스턴스 수준의 어노테이션을 완전히 생략합니다. 이를 통해 확장 가능하고, 제어 가능하며, 비용 효율적인 정렬 데이터 생성이 가능합니다. 실험 결과, ZEBRA는 수동 또는 모델 기반 라벨링 없이도 인스턴스 감독 방식과 비교할 만한 정렬 성능을 달성합니다.
