Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

In Silico Development of Psychometric Scales: Feasibility of Representative Population Data Simulation with LLMs

Created by
  • Haebom
Category
Empty

저자

Enrico Cipriani, Pavel Okopnyi, Danilo Menicucci, Simone Grassini

개요

대규모 언어 모델(LLM)을 사용하여 특정 인구 통계학적 프로필을 가진 개인을 모방하여 항목에 답하도록 함으로써 합성 참가자 데이터를 생성하는 연구를 수행했습니다. 4개의 사전 등록 연구(각각 N = 약 300)에서 LLM 시뮬레이션 데이터 세트가 인간 응답의 잠재 구조 및 측정 속성을 재현할 수 있는지 테스트했습니다. LLM 생성 데이터는 의도한 요인 구조를 4개 연구 중 3개에서 재현했으며, 일관된 구성적 및 계량적 불변성을 보였습니다. 그러나 실제 및 합성 데이터 세트 간에 상당한 차이가 있었고, 점수 분포 및 분산에 눈에 띄는 불일치가 나타났습니다. LLM은 그룹 수준 잠재 구조를 포착하지만, 개별 수준 데이터 속성을 근사하지 못합니다. LLM 생성 데이터는 초기 단계, 그룹 수준 심리 측정 프로토타입 제작에 유용하지만 개별 수준 검증의 대체물로 사용될 수는 없습니다.

시사점, 한계점

LLM은 그룹 수준의 잠재 구조를 파악하는 데 유용하지만, 개별 수준 데이터 속성(점수 분포, 분산 등)을 정확하게 모방하지 못합니다.
LLM으로 생성된 데이터는 초기 단계의 심리 측정 프로토타입 제작에 적합합니다.
상관 관계 기반 테스트에서 실제 데이터와 합성 데이터 간의 큰 차이가 발견되었습니다.
성별에 대해 완전한 내부 불변성을 보였습니다.
방법론적 제약, 편향 및 데이터 오염 위험, 인 실리코 심리 측정 시뮬레이션 관련 윤리적 고려 사항이 존재합니다.
👍