본 논문은 대규모 언어 모델(LLM)의 추론 작업 수행 시 발생하는 계산 복잡도 문제를 해결하는 새로운 알고리즘 RaaS를 제안합니다. 기존의 희소성 기반 알고리즘들은 정확도, 시간 복잡도, 메모리 복잡도 간의 상충 관계(impossible trinity)를 극복하지 못하는 한계가 있습니다. 본 논문은 추론 과정에서 중요한 역할을 수행한 후 불필요해지는 '마일스톤 토큰'의 개념을 도입하여, 해당 토큰의 Key-Value 벡터만 선택적으로 유지하는 RaaS 알고리즘을 제시합니다. RaaS는 높은 정확도를 유지하면서 시간 복잡도와 메모리 복잡도를 모두 O(L)로 줄이는 효과를 보입니다 (L은 캐시 크기, L << N, N은 시퀀스 길이).
시사점, 한계점
•
시사점:
◦
LLM의 추론 작업 수행 시 발생하는 계산 복잡도 문제 해결에 새로운 접근법을 제시합니다.
◦
기존 알고리즘의 한계점인 정확도, 시간 복잡도, 메모리 복잡도 간의 상충 관계를 효과적으로 완화합니다.
◦
O(L) 시간 및 O(L) 메모리 복잡도를 달성하여 LLM의 추론 성능을 크게 향상시킬 가능성을 제시합니다.
◦
마일스톤 토큰 개념을 활용하여 추론 과정의 특징을 효과적으로 반영합니다.
•
한계점:
◦
RaaS 알고리즘의 실제 성능은 다양한 추론 작업과 LLM 아키텍처에 따라 달라질 수 있습니다.
