Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Meaning-infused grammar: Gradient Acceptability Shapes the Geometric Representations of Constructions in LLMs

Created by
  • Haebom

저자

Supantho Rakshit, Adele Goldberg

개요

본 연구는 사용 기반 구성주의(UCx) 접근 방식을 바탕으로, 대규모 언어 모델(LLM)의 내부 표상이 기능이 포함된 계층적 특성을 반영하는지 조사합니다. Pythia-1.4B 모델을 사용하여 영어의 이중 목적어(DO)와 전치사 목적어(PO) 구문의 표상을 분석했습니다. 인간이 평가한 DO 또는 PO에 대한 선호도 강도를 체계적으로 변화시킨 5000개의 문장 쌍 데이터셋을 활용했습니다. 기하학적 분석 결과, 에너지 거리 또는 Jensen-Shannon 발산으로 측정된 두 구문 표상 간의 분리 가능성은 경사 선호도 강도에 따라 체계적으로 조절되는 것으로 나타났습니다. 즉, 각 구문의 더 전형적인 예시는 활성화 공간에서 더 구별되는 영역을 차지하는 반면, 어느 구문에도 동일하게 나타날 수 있는 문장은 그렇지 않았습니다. 이러한 결과는 LLM이 풍부하고 의미가 포함된 계층적 구문 표상을 학습한다는 증거를 제공하며, LLM의 표상에 대한 기하학적 측정 방식을 뒷받침합니다.

시사점, 한계점

시사점:
LLM이 사용 기반 구성주의(UCx)에서 제시하는 기능이 포함된 계층적 구문 표상을 학습한다는 증거를 제시합니다.
LLM의 내부 표상 분석에 기하학적 측정 방식을 적용하는 유용성을 보여줍니다.
LLM의 구문 이해에 대한 새로운 통찰력을 제공합니다.
한계점:
분석에 사용된 LLM (Pythia-1.4B)의 규모와 구조적 특성이 다른 LLM에 일반화될 수 있는지에 대한 추가 연구가 필요합니다.
인간의 선호도 평가에 대한 주관성이 결과에 영향을 미칠 수 있습니다.
분석 대상 구문이 영어의 DO와 PO 구문으로 제한되어 다른 언어나 구문 유형으로의 일반화 가능성에 대한 검토가 필요합니다.
👍