Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Pay What LLM Wants: Can LLM Simulate Economics Experiment with 522 Real-human Persona?

Created by
  • Haebom

저자

Junhyuk Choi, Hyeonchu Park, Haemin Lee, Hyebeen Shin, Hyun Joung Jin, Bugeun Kim

개요

본 논문은 대규모 언어 모델(LLM)이 실제 인간의 경제적 의사결정을 얼마나 정확하게 예측할 수 있는지 평가한 연구입니다. 522명의 한국 참가자를 대상으로 한 Pay-What-You-Want(PWYW) 가격 책정 실험 데이터를 사용하여 세 가지 최첨단 다중 모드 LLM을 비교 분석했습니다. 참가자의 상세한 인적 정보를 활용하여 LLM이 개인의 선택을 정확하게 예측할 수 있는지, 그리고 인물 정보 주입 방식이 예측 성능에 어떤 영향을 미치는지 조사했습니다.

시사점, 한계점

•
시사점:
◦
실제 인간 데이터를 사용하여 LLM의 경제적 행동 시뮬레이션 능력에 대한 첫 번째 종합적인 평가를 제공합니다.
◦
LLM이 개별 수준의 예측에는 어려움을 겪지만, 집단 수준의 행동 경향은 상당히 잘 반영함을 보여줍니다.
◦
일반적으로 사용되는 프롬프팅 기법(개인적 이야기 재구성, 검색 증강 생성)이 단순한 프롬프팅 방법보다 유의미하게 성능이 향상되지 않음을 발견했습니다.
◦
계산 사회과학에서 인물 기반 시뮬레이션에 대한 경험적 지침을 제공합니다.
•
한계점:
◦
LLM이 개별 수준의 경제적 의사결정을 정확하게 예측하는 데는 어려움을 보였습니다.
◦
사용된 데이터가 한국 참가자에 국한되어 있어 일반화 가능성에 제한이 있을 수 있습니다.
◦
특정한 프롬프팅 기법의 효과에 대한 추가적인 연구가 필요합니다.
👍
Made with Slashpage