본 논문은 대규모 언어 모델(LLM) 및 다중 모드 LLM(MLLM)의 효율성 향상을 위한 새로운 패러다임 전환을 제시합니다. 기존의 모델 중심적 확장(모델 파라미터 증가)에서 벗어나, 극도로 긴 텍스트, 고해상도 이미지, 장시간 비디오 등으로 인해 발생하는 자기 주의 메커니즘의 계산 비용 증가 문제를 해결하기 위해 데이터 중심적 압축, 특히 토큰 압축에 초점을 맞춰야 함을 주장합니다. 다양한 분야의 장문맥 AI 연구 동향을 분석하고, 기존 모델 효율성 전략을 위한 통합된 수학적 프레임워크를 제시하여 토큰 압축의 중요성을 강조합니다. 또한, 토큰 압축 연구의 현황, 장점, 과제, 그리고 미래 방향을 체계적으로 검토합니다. 궁극적으로, 증가하는 문맥 길이가 AI 발전에 미치는 과제를 해결하기 위한 새로운 관점과 연구를 촉진하는 것을 목표로 합니다.
시사점, 한계점
•
시사점:
◦
LLM 및 MLLM 효율성 향상을 위한 새로운 패러다임으로서 토큰 압축의 중요성을 제시합니다.
◦
장문맥 AI의 다양한 분야에서의 연구 동향을 종합적으로 분석하고, 통합된 수학적 프레임워크를 제공합니다.
◦
토큰 압축의 장점, 과제 및 미래 방향을 제시하여 관련 연구를 촉진합니다.
◦
모델 중심적 접근의 한계를 극복하고 데이터 중심적 접근의 필요성을 강조합니다.
•
한계점:
◦
본 논문은 개념 및 방향 제시에 초점을 맞춘 position paper이므로, 구체적인 토큰 압축 기법이나 실험 결과는 제시하지 않습니다.
