본 논문은 여러 언어 모델(LM) 에이전트 간의 통신을 통해 LM의 추론 능력을 향상시키는 방법을 제안합니다. 기존의 자연어 기반 통신 방식은 에이전트 수와 메시지 수에 따라 추론 비용이 빠르게 증가하고, 디코딩 과정에서 풍부한 정보가 손실되는 단점이 있습니다. 이를 해결하기 위해, 본 논문은 LM들이 활성화(activation)를 통해 통신하는 새로운 기법을 제시합니다. 구체적으로, LM B의 중간 계층에서 계산을 일시 중지하고, LM A의 중간 활성화와 B의 활성화를 함수 f를 통해 결합하여 B의 다음 계층에 전달하는 방식입니다. 이 방법은 추가적인 매개변수나 데이터 없이 새로운 작업에 LM을 확장하고, 자연어 통신보다 훨씬 적은 계산량으로 동작합니다. 다양한 함수 f와 멀티플레이어 협력 게임 및 추론 벤치마크를 사용한 실험을 통해, 자연어 통신 대비 최대 27.0%의 성능 향상과 1/4 이하의 계산량 감소를 달성함을 보여줍니다. 이는 활성화가 LM 간 통신을 위한 대안적인 "언어"로서의 우수성과 강건성을 보여주는 결과입니다.
