PromptSplit: Revealing Prompt-Level Disagreement in Generative Models

Created by

Haebom

저자

Mehdi Lotfian, Mohammad Jalali, Farzan Farnia

💡 개요

본 연구는 프롬프트 기반 생성 모델 간의 행동 불일치를 탐지하고 분석하는 새로운 프레임워크인 PromptSplit을 제안합니다. PromptSplit은 프롬프트와 출력 특징을 결합한 텐서 곱 임베딩과 커널 공분산 행렬을 활용하여 모델 행동의 주요 차이점을 식별합니다. 무작위 투영 근사를 통해 계산 복잡성을 줄이면서도 이론적으로 정확한 추정치를 보장합니다.

🔑 시사점 및 한계

•

다양한 도메인(텍스트-이미지, 텍스트-텍스트, 이미지 캡셔닝)에서 생성 모델 간의 프롬프트 의존적 행동 차이를 효과적으로 탐지하고 분석할 수 있습니다.

•

어떤 프롬프트가 모델 행동의 불일치를 유발하는지 구체적으로 파악할 수 있어, 생성 모델의 이해도를 높이고 개선하는 데 기여합니다.

•

무작위 투영 근사로 인한 이론적 오류 바운드가 있지만, 실제 적용 시에는 적절한 투영 차원 선택이 중요하며, 특정 복잡한 상호작용을 완전히 포착하지 못할 수도 있습니다.

PDF 보기

Made with Slashpage