Gyan: An Explainable Neuro-Symbolic Language Model

작성자

Haebom

카테고리

Empty

저자

Venkat Srinivasan, Vishaal Jatav, Anushka Chandrababu, Geetika Sharma

💡 개요

본 논문은 기존 트랜스포머 기반 대규모 언어 모델의 한계, 즉 불완전한 맥락 이해, 환각, 낮은 해석 가능성, 높은 컴퓨팅 자원 요구량을 극복하기 위한 새로운 신경-기호 언어 모델인 Gyan을 제안합니다. Gyan은 수사 구조 이론, 의미 역할 이론, 지식 기반 계산 언어학에 기반한 혁신적인 비-트랜스포머 아키텍처를 통해 언어 모델과 지식 획득 및 표현을 분리하여, 완전한 구성적 맥락과 인간과 유사한 '세계 모델'을 포착합니다. 이 모델은 3개의 공개 데이터셋과 2개의 독점 데이터셋에서 최첨단(SOTA) 성능을 달성하며 신뢰할 수 있고 투명한 언어 모델 개발의 가능성을 제시합니다.

🔑 시사점 및 한계

•

기존 대규모 언어 모델의 근본적인 한계(환각, 해석 불가능성 등)를 극복하는 새로운 신경-기호 모델 아키텍처의 가능성을 제시합니다.

•

언어 모델링과 지식 획득/표현을 분리함으로써, 더 깊이 있는 맥락 이해와 신뢰성을 확보할 수 있음을 보여줍니다.

•

실제적인 '세계 모델' 구축을 시도하여 언어 모델의 이해 및 추론 능력을 향상시킬 잠재력을 가집니다.

•

새로운 아키텍처의 학습 및 추론 효율성, 그리고 특정 도메인에서의 일반화 성능에 대한 추가적인 검증이 필요합니다.

PDF 보기

Made with Slashpage