Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

The Challenge of Using LLMs to Simulate Human Behavior: A Causal Inference Perspective

Created by
  • Haebom
Category
Empty

저자

George Gui, Olivier Toubia

개요

대규모 언어 모델(LLM)은 인간 행동 시뮬레이션에 잠재력을 보이지만, 실험 설계를 모르는 LLM 시뮬레이션 주체(인간 피험자와 유사)는 처리 방식의 변화가 상수여야 하는 변수에 체계적으로 영향을 미쳐 unconfoundedness 가정을 위반하는 근본적인 과제가 있습니다. 수요 추정을 맥락으로 40개의 제품을 사용한 실제 실험을 벤치마크로 사용하여, 이는 부자연스러운 결과를 초래할 수 있음을 보여줍니다. Covariate를 통제하여 혼동을 해결할 수 있지만, 이는 LLM 시뮬레이션 맥락에서 생태학적 타당성을 저해할 수 있습니다. 명확하지 않은 프롬프트 전략에서 기인하므로, unblinding을 통한 명확한 프롬프트 전략 개발로 해결할 수 있습니다. 실험 결과는 이 전략이 모든 테스트 모델에서 모델 성능을 향상시키고, fine-tuning을 보완하여 관련 없는 데이터 포함에 대한 예측의 견고성을 향상시킵니다.

시사점, 한계점

LLM을 사용한 실험 시뮬레이션에서 unconfoundedness 가정 위반 문제를 제기.
혼동을 야기하는 요인으로 모호한 프롬프트 전략을 지목.
unblinding(실험 설계 공개)을 통한 명확한 프롬프트 전략 개발로 문제 해결 제안 및 효과 입증.
Fine-tuning과 결합하여 예측의 견고성을 향상시키는 기술임을 보임.
Covariate 통제를 통한 해결이 생태학적 타당성을 저해할 수 있다는 한계점 제시.
👍