본 논문은 스파스 믹스처 오브 엑스퍼츠(MoE) 아키텍처를 확장하여 트랜스포머 모델의 성능을 향상시키는 연구에 대해 다룹니다. 기존 연구는 주로 피드포워드 네트워크(FFN) 계층에 MoE를 적용했지만, 최근에는 어텐션 계층에도 MoE를 적용하는 연구가 진행되었습니다. 하지만 기존의 어텐션 기반 MoE 계층은 특수한 구현이 필요하고, FFN 기반 MoE 계층에 비해 성능이 떨어지는 한계점이 있었습니다. 본 논문에서는 어텐션 메커니즘을 새롭게 정의하여 어텐션 모듈 내에 FFN과 유사한 구조를 도출하고, 이를 통해 어텐션과 FFN 계층에서 MoE 설계를 통합하는 UMoE 아키텍처를 제안합니다. UMoE는 어텐션 기반 MoE 계층을 통해 우수한 성능을 달성하며, FFN과 어텐션 구성 요소 간 효율적인 파라미터 공유를 가능하게 합니다.
