Graph Memory Transformer (GMT)

작성자

Haebom

카테고리

Empty

저자

Nicola Zanarini, Niccolo Ferrari, Evelina Lamma

💡 개요

본 연구는 기존 트랜스포머 디코더의 Feed-Forward Network (FFN) 서브레이어를 명시적으로 학습된 메모리 그래프로 대체하여, autoregressive 아키텍처를 유지하면서도 언어 모델링이 가능한 Graph Memory Transformer (GMT)를 제안합니다. GMT는 토큰 표현을 학습된 중심점(centroids) 뱅크를 통해 라우팅하며, 이는 학습된 방향성 전이 행렬로 연결됩니다. 본 연구의 결과는 FFN 서브레이어 대신 그래프 기반 메모리 네비게이션을 사용하는 것의 가능성과 구조적 해석 가능성을 보여줍니다.

🔑 시사점 및 한계

•

FFN 서브레이어를 그래프 기반 메모리 메커니즘으로 대체함으로써, 기존 트랜스포머 모델의 고밀도 변환 대신 해석 가능한 메모리 조작을 통해 언어 모델링을 수행할 수 있습니다.

•

GMT 모델은 파라미터 수를 줄이면서도 (82.2M vs 103.0M) 학습 안정성을 보이며, 메모리 중심점 사용, 전이 구조, 소스-타겟 이동과 같은 연산 과정을 직접적으로 탐색할 수 있는 해석 가능성을 제공합니다.

•

현재 GPT 스타일의 밀집(dense) 기반 모델 대비 검증 손실 및 혼란도(perplexity)에서 성능이 다소 떨어지며, 이는 더 광범위한 스케일링, 최적화된 커널, 그리고 추가적인 벤치마크 평가를 통해 개선될 여지가 있음을 시사합니다.

PDF 보기

Made with Slashpage