Panini: Continual Learning in Token Space via Structured Memory

Created by

Haebom

저자

Shreyas Rajesh, Pavan Holur, Mehmet Yigit Turali, Chenda Duan, Vwani Roychowdhury

💡 개요

본 논문은 언어 모델이 학습하지 않은 새로운 정보에 대해 추론할 때 발생하는 비효율성과 부정확성 문제를 해결하기 위해, 외부 저장된 문서를 그대로 사용하는 기존 RAG 방식의 한계를 지적합니다. 이를 극복하기 위해, 고정된 기반 모델에 새로운 경험을 지속적으로 통합하고 이를 스스로 통합 및 강화하는 비모수적 지속 학습 프레임워크인 Panini를 제안합니다. Panini는 문서를 개체 및 이벤트 중심의 질의응답(QA) 쌍으로 구성된 생성형 의미론적 작업 공간(GSW)으로 표현하여, 추론 시 전체 문서를 탐색하는 대신 GSW를 통해 가장 가능성 있는 추론 체인을 검색합니다.

🔑 시사점 및 한계

•

효율적인 추론: Panini는 GSW를 통해 필요한 정보만을 효율적으로 검색함으로써, 기존 RAG 방식 대비 현저히 적은 토큰을 사용하면서도 높은 성능을 달성했습니다.

•

안정적인 생성: 불필요한 컨텍스트 주입을 줄여, 지원되지 않는 답변을 생성하는 비율을 감소시켰습니다.

•

인간과 유사한 학습: 경험을 구조화하고 지속적으로 통합하는 GSW 방식은 인간의 비모수적 학습 방식을 모방하여, 시간이 지남에 따라 지식이 축적되고 강화되는 효과를 기대할 수 있습니다.

•

한계점: GSW 구축 과정의 효율성 및 확장성, 그리고 복잡하고 추상적인 새로운 지식의 표현 능력에 대한 추가적인 연구가 필요합니다. 또한, GSW 구조화에 필요한 비용과 시간이 실제 적용에 미치는 영향에 대한 분석이 더 필요할 수 있습니다.

PDF 보기

Made with Slashpage