Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

A Survey on Collaborative Mechanisms Between Large and Small Language Models

Created by
  • Haebom

저자

Yi Chen, JiaHao Zhao, HaoHao Han

개요

대규모 언어 모델(LLM)은 강력한 AI 기능을 제공하지만 높은 자원 비용과 지연 시간으로 인해 배포에 어려움이 있으며, 소규모 언어 모델(SLM)은 효율성과 배포 용이성을 제공하지만 성능 저하라는 단점이 있습니다. 본 논문은 LLM과 SLM의 협업을 통해 이러한 상충 관계를 시너지 효과적으로 해결하고, 특히 자원 제약이 있는 에지 장치에서 고급 AI 애플리케이션을 가능하게 하는 중요한 패러다임으로 제시합니다. LLM-SLM 협업에 대한 포괄적인 개요를 제공하며, 다양한 상호 작용 메커니즘(파이프라인, 라우팅, 보조, 증류, 융합), 주요 기술, 그리고 저지연, 개인 정보 보호, 개인화 및 오프라인 작동과 같은 온디바이스 요구 사항에 의해 주도되는 다양한 애플리케이션 시나리오를 자세히 설명합니다. 더욱 효율적이고 적응력 있으며 접근 가능한 AI를 만드는 잠재력을 강조하는 동시에 시스템 오버헤드, 모델 간 일관성, 강력한 작업 할당, 평가 복잡성 및 보안/개인 정보 보호 문제와 같은 지속적인 과제에 대해서도 논의합니다. 미래 방향은 보다 지능적인 적응형 프레임워크, 심층 모델 융합 및 다중 모달 및 구현된 AI로의 확장을 가리키며, LLM-SLM 협업을 차세대 실용적이고 유비쿼터스 인공 지능의 주요 동인으로 자리매김합니다.

시사점, 한계점

시사점:
LLM과 SLM의 협업을 통해 고성능과 효율성을 동시에 달성 가능성 제시
에지 디바이스에서의 고급 AI 애플리케이션 구현 가능성 확대
저지연, 개인 정보 보호, 개인화, 오프라인 작동 등 다양한 온디바이스 요구사항 충족 가능성 제시
더욱 효율적이고 적응력 있으며 접근 가능한 AI 개발 가능성 제시
한계점:
시스템 오버헤드 문제
모델 간 일관성 유지의 어려움
강력한 작업 할당 메커니즘 필요성
평가 복잡성
보안 및 개인 정보 보호 문제
👍