Beyond Fixed Psychological Personas: State Beats Trait, but Language Models are State-Blind

Created by

Haebom

저자

Tamunotonye Harry, Ivoline Ngong, Chima Nweke, Yuanyuan Feng, Joseph Near

💡 개요

본 연구는 언어 모델과의 사용자 상호작용이 사용자의 고정된 특성(trait)뿐 아니라 상호작용 맥락(state)에 따라 달라짐에도 불구하고, 기존 페르소나 데이터셋은 trait만 고려하고 state의 영향을 간과함을 지적합니다. 이를 해결하기 위해 다중 맥락에서 측정된 1,667명의 Reddit 사용자 프로필 5,001개를 담은 Chameleon 데이터셋을 제안하며, 이를 통해 인간의 심리적 특성 변화는 trait보다 state에 의해 더 크게 좌우된다는 점과 언어 모델이 state를 무시하고 trait에만 집중한다는 사실을 발견했습니다.

🔑 시사점 및 한계

•

사용자 심리적 특성 변화의 74%는 고정된 trait가 아닌, 맥락에 따른 state 변화에 의해 설명됨을 규명했습니다.

•

현재의 언어 모델은 사용자의 state 변화를 인지하지 못하고 trait에만 기반하여 반응하며, 이는 대화의 질과 개인화에 한계를 야기합니다.

•

보상 모델은 사용자 state에 반응하지만 일관성이 없어, 특정 사용자에 대해 상반된 평가를 내리는 등 예측 불가능성을 보입니다.

•

Chameleon 데이터셋 공개를 통해 감성 컴퓨팅, 개인화된 대화, RLHF 정렬 연구 발전에 기여하고자 합니다.

PDF 보기

Made with Slashpage