Statistical Foundations of LLM-based A/B Testing: A Surrogacy Framework for Human Causal Inference

작성자

Haebom

카테고리

Empty

저자

Joel Persson, M{\aa}rten Schultzberg, Sebastian Ankargren

💡 개요

본 논문은 대규모 언어 모델(LLM)을 대체 인간 참여자 대신 A/B 테스트에 사용하는 것에 대한 통계적 기초를 탐구합니다. LLM 결과에서 추정된 치료 효과가 관심 있는 인간 집단에서 측정될 효과를 복구할 수 있는 조건을 개발하고, 서러게이트 엔드포인트 이론을 LLM에 적용하여 인간과 LLM 결과 간의 조건부 분포 동일성이 불가능할 때에도 평균 치료 효과를 식별할 수 있는 프레임워크를 제안합니다.

🔑 시사점 및 한계

•

LLM을 A/B 테스트 대리자로 활용하기 위한 통계적 프레임워크를 제공하여, 인간-LLM 결과 간의 서러게이트 및 비교 가능성 조건 하에서 평균 치료 효과를 식별할 수 있음을 보입니다.

•

서러게이트 조건을 검증하기 위한 위변조 테스트와 LLM 및 인간 표본 간의 제한된 중첩으로 인한 최악의 편향에 대한 상한을 제시합니다.

•

LLM의 내재적 확률성이 서러게이트 식별력을 약화시키고 추정 시 편향 및 분산을 야기하지만, 여러 LLM 샘플의 평균을 사용하면 이러한 문제를 완화할 수 있음을 입증합니다.

•

LLM 기반 A/B 테스트는 결과가 올바르려면 가정이 필요하며, 이는 LLM이 가장 큰 이점을 약속하는 영역에서 정당화하기 어렵다는 점을 강조하며, LLM 선택, 프롬프트, 온도 등의 설계 변수 역할, 장기적 결과의 복합적인 도전 과제, 검증을 위한 인간 파일럿 연구 규모 산정 등에 대해 논의합니다.

PDF 보기

Made with Slashpage