A Game Theoretic Free Energy Analysis of Higher Order Synergy in Attention Heads of Large Language Models

작성자

Haebom

카테고리

Empty

저자

Djamel Bouchaffra

💡 개요

이 논문은 대규모 언어 모델의 멀티헤드 어텐션 메커니즘 내 헤드 간 상호작용을 이해하기 위해 게임 이론적 자유 에너지 원리(GTFEP)를 적용합니다. GTFEP는 각 어텐션 헤드를 제한된 합리적 에이전트로 간주하고, 이들의 집단적 행동을 자유 에너지 최소화 과정으로 설명합니다. BERT, GPT2, Llama 모델에서 수행한 실험 결과, 헤드 간 높은 수준의 상호작용 정보(삼중 배당)가 음수 값을 가지며 이는 모델 내 정보의 중복성을 시사합니다.

🔑 시사점 및 한계

•

GTFEP는 어텐션 헤드 간의 복잡한 상호작용을 정량화하고, 특히 높은 수준의 정보 중복성을 발견하는 데 유용한 틀을 제공합니다.

•

계산 비용 절감을 위해 중요도가 낮은 어텐션 헤드를 효율적으로 식별하고 제거할 수 있는 근거를 제시하며, 이를 통해 모델 성능 저하를 최소화하면서 연산량을 줄이는 최적화 가능성을 보여줍니다.

•

현재 연구는 이산화된 헤드 출력에 기반한 근사 모델을 사용하므로, 연속적인 출력 공간에서의 분석 및 다른 트랜스포머 아키텍처에 대한 일반화 가능성 탐구가 필요합니다.

PDF 보기

Made with Slashpage