Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

On the Analogy between Human Brain and LLMs: Spotting Key Neurons in Grammar Perception

Created by
  • Haebom
Category
Empty

저자

Sanaz Saki Norouzi, Mohammad Masjedi, Pascal Hitzler

개요

인공 신경망은 인간 뇌의 신경 네트워크에서 영감을 받아 발전해왔으며, 이미지 및 언어 처리와 같은 복잡한 작업을 처리할 수 있게 되었습니다. 본 연구는 대규모 언어 모델(LLM)의 언어 학습 과정이 인간의 학습 방식과 유사한지 확인하고자 했습니다. 특히, 뇌에서 다양한 문법 범주가 서로 다른 신경 세포에 의해 처리된다는 신경과학 연구 결과를 바탕으로, LLM에서도 유사한 양상이 나타나는지 분석했습니다. Llama 3를 사용하여, 다양한 품사에 속하는 단어 예측과 관련된 주요 신경 세포를 식별했습니다. 이 정보를 활용하여 데이터 세트에 대한 분류기를 훈련시킨 결과, 이러한 핵심 신경 세포의 활성 패턴이 새로운 데이터에서도 품사 태그를 안정적으로 예측할 수 있다는 것을 확인했습니다.

시사점, 한계점

LLM 내에 품사 태그 개념을 포착하는 데 특화된 하위 공간이 존재함을 시사하며, 이는 신경과학의 병변 연구에서 관찰된 패턴과 유사합니다.
Llama 3 모델을 사용한 연구 결과이므로, 다른 LLM 모델에 일반화될 수 있는지 추가적인 연구가 필요합니다.
특정 품사에 대한 신경 세포의 활성 패턴을 정확하게 식별하는 데 초점을 맞추었으며, 복잡한 언어 현상 전반에 대한 이해를 확장하기 위한 추가적인 연구가 필요합니다.
👍