Modeling cognitive processes of natural reading with transformer-based Language Models
Created by
Haebom
저자
Bruno Bianchi, Fermin Travi, Juan E. Kamienkowski
개요
본 논문은 최신 자연어 처리(NLP) 모델(GPT2, LLaMA-7B, LLaMA2-7B)을 사용하여 독자의 시선 지속 시간(Gaze Duration)과 언어 예측성 간의 관계를 리오플랜텐스 스페인어 독자를 대상으로 분석했습니다. 기존 N-gram 및 LSTM 모델보다 성능이 향상되었지만, 여전히 인간의 예측성에 의해 설명되는 분산 전체를 설명하지는 못했습니다. 이는 최첨단 언어 모델이 인간 독자와는 다른 방식으로 언어를 예측한다는 것을 시사합니다.
시사점, 한계점
•
시사점: 최신 Transformer 기반 언어 모델이 기존 모델보다 독서 중 시선 지속 시간을 더 잘 설명합니다. 이를 통해 언어 이해 과정에 대한 신경과학적 이해를 높일 수 있습니다.
•
한계점: 최신 언어 모델조차도 인간 독자의 언어 예측성을 완전히 설명하지 못합니다. 인간의 언어 처리 과정에는 모델이 포착하지 못하는 요소가 존재함을 시사합니다. 리오플랜텐스 스페인어 독자에 대한 연구 결과이므로, 다른 언어나 독자 집단에 대한 일반화에는 한계가 있습니다.
