본 논문은 대규모 언어 모델(LLM) 정렬을 위한 새로운 프레임워크인 ZEBRA를 제안합니다. 기존의 LLM 정렬 방법들이 인간 또는 AI 어노테이터를 통해 대규모 선호도 데이터셋을 구축하는 데 초점을 맞춰왔던 것과 달리, ZEBRA는 벤치마크 성능에서 파생된 모델 행동 지식을 활용하여 선호도 데이터를 구축하는 제로 어노테이션 프레임워크입니다. ZEBRA는 모델의 품질과 유사성을 평가하여 응답 쌍을 이진화함으로써 인스턴스 수준의 어노테이션을 완전히 생략합니다. 이는 확장 가능하고, 제어 가능하며, 비용 효율적인 정렬 데이터 생성을 가능하게 합니다. 실험 결과, ZEBRA는 수동 또는 모델 기반 라벨링이 필요하지 않음에도 불구하고, 인스턴스 감독 방식과 비교할 만한 정렬 성능을 달성함을 보여줍니다.
