# Is This Just Fantasy? Language Model Representations Reflect Human Judgments of Event Plausibility

### 저자

Michael A. Lepori, Jennifer Hu, Ishita Dasgupta, Roma Patel, Thomas Serre, Ellie Pavlick

### 💡 개요

본 연구는 언어 모델(LM)이 문장의 가능성, 불가능성, 비논리성 등을 판단하는 능력, 즉 양태 범주화(modal categorization) 능력을 탐구합니다. 연구진은 LM의 활성화 값에서 양태 범주를 구분하는 선형 표현인 '양태 차이 벡터(modal difference vectors)'를 발견했으며, 이를 통해 LM이 이전 연구에서 알려진 것보다 더 신뢰할 만한 양태 판단 능력을 가지고 있음을 보여줍니다. 또한, 이러한 벡터가 모델의 훈련 단계, 계층, 파라미터 수 증가에 따라 일관된 순서로 나타나며, LM의 양태 판단 능력이 인간의 미묘한 판단 행태를 모델링하는 데 사용될 수 있음을 시사합니다.

### 🔑 시사점 및 한계

- 언어 모델은 다양한 훈련 수준과 규모에서 인간과 유사한 방식으로 문장의 양태를 판단하는 내부 표현을 가지고 있습니다.

- '양태 차이 벡터'는 언어 모델의 양태 범주화 메커니즘을 이해하고, 나아가 인간의 유사한 인지 과정을 탐구하는 데 유용한 도구가 될 수 있습니다.

- 본 연구는 특정 양태 범주에 대한 LM의 판단을 분석하지만, 양태 판단 전반에 걸친 LM의 포괄적인 이해에는 추가적인 연구가 필요합니다.

- 인간의 양태 판단을 LM의 내부 표현과 연관 짓는 과정에서, 인간의 판단에 영향을 미치는 다양한 요인들을 모두 고려하지는 못했을 수 있습니다.

[PDF 보기](https://arxiv.org/pdf/2507.12553)

For the site tree, see the [root Markdown](https://slashpage.com/haebom.md).