본 논문은 대규모 언어 모델(LLM)의 표준 구현 방식인 Transformer에서 여러 개의 이산층을 단일 학습된 전달 연산자로 대체하는 Latent Flow Transformer (LFT)를 제안합니다. 이는 Flow Matching을 통해 훈련되며, 원래 아키텍처와의 호환성을 유지하면서도 상당한 압축을 제공합니다. 기존 Flow 기반 방법의 결합 보존 한계를 해결하기 위해 Flow Walking (FW) 알고리즘을 도입했습니다. Pythia-410M 모델 실험 결과, Flow Matching으로 훈련된 LFT는 24개 층 중 6개 층을 압축하여 2개 층을 건너뛰는 것보다 성능이 우수함을 보였습니다 (KL Divergence: 0.407 vs 0.529). FW로 훈련된 LFT는 12개 층을 하나로 증류하여 3개 층을 건너뛰는 것보다 KL Divergence를 낮추었습니다 (0.736 vs 0.932). 이는 자기회귀 및 Flow 기반 생성 패러다임 간의 격차를 크게 줄이는 결과입니다.
시사점, 한계점
•
시사점:
◦
Transformer 모델의 계층 구조를 효율적으로 압축하는 새로운 방법 제시.
◦
Flow Matching과 Flow Walking 알고리즘을 통해 기존 Flow 기반 방법의 한계 극복.
◦
자기회귀 및 Flow 기반 생성 패러다임 간의 성능 격차를 줄임.
◦
LLM의 계산 비용 및 메모리 사용량 감소 가능성 제시.
•
한계점:
◦
Pythia-410M 모델에 대한 실험 결과만 제시되어 다른 모델이나 규모에 대한 일반화 가능성은 추가 연구 필요.
