Evaluating Developmental Cognition Capabilities of LLMs

작성자

Haebom

카테고리

Empty

저자

Xiao Xiao, Hayoun Noh, Mar Gonzalez-Franco

💡 개요

본 논문은 대화형 AI가 사용자의 인지 발달 단계를 고려하여 상호작용할 수 있도록 돕기 위해 로버트 케건의 구성적 발달 이론을 차용했습니다. 이를 위해 기존의 비확장 가능하거나 비실용적인 평가 방식의 한계를 극복하고자 '발달 문장 완성 검사(DSCT)'라는 새로운 20개 항목의 자기 보고식 도구를 개발했습니다. 이를 통해 LLM이 시뮬레이션된 페르소나, 실제 인간 응답자, 기본 모델 생성 답변이라는 세 가지 방식으로 응답했을 때 발달 신호를 얼마나 잘 복구하는지 평가했습니다.

🔑 시사점 및 한계

•

인공적인 응답에서 발달 신호가 더 명확하게 나타납니다. LLM이 시뮬레이션된 페르소나를 통해 응답할 때, 의도된 발달 단계 레이블을 높은 정확도로 복구하는 경향을 보였습니다.

•

LLM은 모델 크기에 따라 일관된 발달 신호 차이를 보입니다. 페르소나 없이 LLM이 DSCT 프롬프트에 직접 응답했을 때, 새로운 모델일수록 더 높은 평가를 받는 텍스트를 생성하는 경향을 나타냈습니다.

•

진정한 발달 단계 이해를 위한 과제는 분류 정확도를 넘어섭니다. 대화형 AI의 발달 단계 인지를 위해서는 단순히 응답을 분류하는 것을 넘어, 실제로 발달 신호가 풍부한 텍스트를 생성하는 것이 핵심 과제임을 시사합니다.

PDF 보기

Made with Slashpage