PICASO: Permutation-Invariant Context Composition with State Space Models
Created by
- Haebom
Category
Empty
저자
Tian Yu Liu, Alessandro Achille, Matthew Trager, Aditya Golatkar, Luca Zancato, Stefano Soatto
개요
본 논문은 Large Language Model (LLM)의 추론 시 관련 문맥 정보를 제공하여 생성 품질을 향상시키는 방법을 제시한다. 기존에는 외부 지식베이스에서 검색된 문맥 정보를 입력에 추가하는 방식을 사용했지만, 이는 계산 비용이 많이 드는 문제점이 있었다. 본 논문은 State Space Model (SSM)을 활용하여 여러 문맥 정보를 고정된 차원의 상태로 매핑하고, 이를 통해 생성을 시작하는 방법을 제안한다. 특히, 여러 문맥 정보를 효율적으로 활용하기 위해 SSM 동역학에서 유도된 수학적 관계를 이용하여 여러 상태를 하나의 상태로 합성하는 기법을 제시한다. 문맥 순서의 정보가 유용하지 않을 수 있으므로, 모든 가능한 순서에 대해 상태를 평균화하여 순열 불변성을 보장한다. WikiText와 MSMARCO 데이터셋에서 제안된 방법을 평가한 결과, 기존 최고 성능의 기준 모델과 유사한 성능을 달성하면서 평균 5.4배의 속도 향상을 보였다.
시사점, 한계점
•
시사점:
◦
SSM을 이용하여 LLM의 문맥 정보 활용 문제를 효율적으로 해결하였다.
◦
여러 문맥 정보의 합성을 위한 효율적인 알고리즘을 제시하였다.
◦
문맥 순서에 대한 불변성을 고려하여 성능 저하를 방지하였다.
◦
기존 방법 대비 5.4배의 속도 향상을 달성하였다.
•
한계점:
◦
제안된 상태 합성 알고리즘의 일반성 및 확장성에 대한 추가적인 연구가 필요하다.
◦
다양한 데이터셋 및 LLM에 대한 추가적인 실험이 필요하다.
◦
문맥 정보의 중요도를 고려하는 더욱 정교한 방법이 필요할 수 있다.
