The New LLM Bottleneck: A Systems Perspective on Latent Attention and Mixture-of-Experts
Created by
Haebom
저자
Sungmin Yun, Seonyong Park, Hwayong Nam, Younjoo Lee, Gunjun Lee, Kwanhee Kyung, Sangpyo Kim, Nam Sung Kim, Jongmin Kim, Hyungyo Kim, Juhwan Cho, Seungmin Baek, Jung Ho Ahn
개요
본 논문은 기존 Transformer 모델의 워크로드가 Multi-Head Attention (MHA)의 메모리 제약과 피드포워드 레이어의 연산 제약으로 이분화되어 있음을 지적합니다. 이러한 이분화는 MHA 병목 현상을 완화하기 위한 특수 하드웨어 연구를 촉진해 왔습니다. 하지만, Multi-head Latent Attention (MLA)과 Mixture-of-Experts (MoE)와 같은 최근의 아키텍처 변화는 특수화된 어텐션 하드웨어의 필요성에 의문을 제기합니다. 논문은 MLA의 연산 강도가 MHA보다 두 자릿수 이상 높아 GPU와 같은 최신 가속기에는 적합하며, MoE의 경우 가속기 풀에 전문가를 분산하여 배치를 통해 연산 강도를 조정하여 밀집 레이어와 일치시킬 수 있음을 보여줍니다. 따라서 차세대 Transformer의 주요 과제는 단일 메모리 제약 레이어의 가속이 아니라, 대규모 모델의 다양한 요구 사항을 관리하기 위한 충분한 연산 성능, 메모리 용량, 메모리 대역폭 및 고대역폭 상호 연결을 갖춘 균형 잡힌 시스템을 설계하는 것이라고 주장합니다.
시사점, 한계점
•
시사점:
◦
MLA와 MoE 아키텍처는 기존 MHA의 메모리 병목 현상을 완화하여 특수화된 어텐션 하드웨어의 필요성을 감소시킵니다.
◦
차세대 Transformer 개발의 초점은 균형 잡힌 시스템 설계로 이동해야 함을 시사합니다. 이는 충분한 연산 성능, 메모리 용량, 메모리 대역폭 및 고대역폭 상호 연결을 포함합니다.
◦
MLA와 MoE의 효율적인 구현을 위한 하드웨어 및 소프트웨어 설계 방향을 제시합니다.
•
한계점:
◦
MLA와 MoE가 모든 종류의 Transformer 모델에 적용 가능한지에 대한 추가적인 연구가 필요합니다.
◦
대규모 모델의 다양한 요구 사항을 충족하는 균형 잡힌 시스템 설계에 대한 구체적인 방안은 제시하지 않았습니다.
