Evaluating Morphological Compositional Generalization in Large Language Models
Created by
Haebom
저자
Mete Ismayilzada, Defne Circi, Jonne Saleva, Hale Sirin, Abdullatif Koksal, Bhuwan Dhingra, Antoine Bosselut, Duygu Ataman, Lonneke van der Plas
개요
본 논문은 대규모 언어 모델(LLMs)의 형태론적 일반화 능력, 특히 조합성 측면에서의 능력을 체계적으로 조사합니다. 터키어와 핀란드어와 같은 교착어를 중심으로, GPT-4와 Gemini를 포함한 최신 다국어 모델들을 평가하여, 새로운 어근에 적용될 때 형태소 조합 일반화에 어려움을 겪고 복잡성이 증가할수록 성능이 급격히 저하됨을 보여줍니다. 모델들은 개별 형태소 조합을 우연보다 잘 식별하지만, 그 성능은 체계적이지 못하며 인간과 비교하여 상당한 정확도 차이를 보입니다. 이는 LLMs가 인간과 유사하게 언어를 학습하는지에 대한 의문을 제기합니다.
시사점, 한계점
•
시사점: LLMs의 형태론적 조합 일반화 능력의 한계를 밝힘으로써, LLMs의 언어 습득 방식에 대한 이해를 심화시키고 향상된 모델 개발의 방향을 제시합니다. 특히, 교착어와 같은 언어의 형태론적 복잡성을 고려한 모델 개발의 필요성을 강조합니다.
•
한계점: 본 연구는 특정 교착어에 국한되어 진행되었으므로, 다른 언어 유형으로의 일반화 가능성은 추가 연구가 필요합니다. 또한, 인간의 형태론적 처리 능력과 LLMs의 능력을 정확하게 비교하기 위한 더욱 정교한 평가 방법론의 개발이 필요합니다.
