본 논문은 대규모 언어 모델(LLM)들의 집합적 지능을 향상시키기 위한 새로운 패러다임으로, LLM 간 직접적인 고밀도 벡터 통신을 제안합니다. 기존의 자연어 기반 통신 방식과 달리, LLM 간의 불필요한 임베딩 및 디임베딩 과정을 제거하여 정보 전달 효율을 높이고, 완전한 미분 가능한 최적화 경로를 제공하며, 인간의 휴리스틱을 넘어서는 기능 탐색을 가능하게 합니다. 소규모 사전 훈련된 LLM을 정점으로, 최적화 가능한 seq2seq 모듈을 간선으로 사용하여 MLP와 유사한 구조의 LMNet을 구축합니다. 이를 통해 기존 대규모 LLM을 훈련하는 것보다 0.1% 미만의 훈련 비용으로 유사한 성능을 달성합니다. 이는 단일 거대 LLM을 처음부터 훈련하는 대신 일반 지능 확장에 대한 새로운 관점을 제공하며, 제한된 데이터로 LLM을 사용자 지정하는 등 다양한 응용 분야에도 활용될 수 있습니다.
