Sparsity Moves Computation: How FFN Architecture Reshapes Attention in Small Transformers

작성자

Haebom

카테고리

Empty

저자

Gabriel Smithline, Chris Mascioli

💡 개요

본 연구는 트랜스포머 모델에서 피드포워드 네트워크(FFN)의 아키텍처 설계가 전체 모델의 계산 방식에 미치는 영향을 탐구합니다. 다양한 FFN 아키텍처(dense, GLU, MoE, MoE-GLU)를 비교 분석한 결과, 희소한 Mixture-of-Experts(MoE) 라우팅이 FFN에서 어텐션 메커니즘으로 계산을 전환시킬 수 있음을 발견했습니다. 특히, 무작위 라우팅으로도 학습된 라우팅과 유사한 결과를 얻어, 이러한 계산 재분배가 라우터의 전문화보다는 아키텍처적 희소성에 의해 주도된다는 점을 시사합니다.

🔑 시사점 및 한계

•

FFN 아키텍처 선택은 모델 전체의 계산 분포에 중대한 영향을 미치며, 특히 MoE와 같은 희소성 기반 설계는 FFN에서 어텐션으로 계산 부담을 효과적으로 이동시킬 수 있습니다.

•

FFN 내부의 희소성(예: MoE)은 라우팅 방식의 학습된 전문화보다는 구조 자체에서 비롯되는 경우가 많으며, 이는 모델 설계의 유연성을 높여줍니다.

•

GLU와 같은 곱셈 게이팅은 작업 관련 특징을 특정 뉴런이 아닌 분산된 하위 공간으로 재배치하여 뉴런 수준의 해석 가능성을 낮추지만, 구조적인 계산 능력은 유지합니다.

•

본 연구는 주로 한 개의 레이어 트랜스포머와 특정 작업(숫자 덧셈, 모듈러 연산, 히스토그램 카운팅)에 대해 실험이 이루어졌으므로, 더 깊은 모델이나 복잡한 작업에 대한 일반화 가능성에 대한 추가 연구가 필요합니다.

PDF 보기

Made with Slashpage