본 논문은 비전 및 언어 영역에서 분산 신경망 아키텍처(DNA)를 도입하고 훈련하는 방법을 제시합니다. DNA는 트랜스포머, MLP, 어텐션 등의 모듈과 라우터로 구성된 프로토-아키텍처로 초기화됩니다. 토큰(또는 패치)은 어떤 순서로든 임의의 모듈 시리즈를 통과할 수 있습니다. DNA는 전문가 혼합(Mixture-of-Experts), 깊이 혼합(Mixture-of-Depths), 매개변수 공유 등의 희소 방법의 자연스러운 일반화입니다. DNA 모듈의 계산 및 통신 패턴은 훈련 중에 end-to-end로 학습되며 각 토큰(또는 패치)의 내용과 컨텍스트에 따라 달라집니다. 이러한 패턴은 계산/메모리 효율성 또는 부하 분산과 같은 최적화 목표에 추가된 요구 사항에 따라 형성될 수 있습니다. 실험적으로, 훈련된 DNA가 두 영역 모두에서 밀집 기준 모델과 경쟁력이 있음을 보여주고, 데이터로부터 계산 효율성/매개변수 공유를 학습할 수 있음을 보여줍니다. 또한, 훈련된 DNA의 등장 연결성과 계산 패턴을 분석하여 토큰이 모델을 통과하는 경로가 파워 법칙에 따라 분포되어 있음을 발견하고, 일부 경로(또는 동등하게 모듈 그룹)가 등장 전문화를 보임을 보여줍니다. 마지막으로, 모델이 해석 가능한 방식으로 계산과 활성 매개변수를 할당하는 것을 학습함을 보여줍니다.
