본 논문은 무한히 긴 문서를 선형 복잡도로 처리하면서 외삽 과정에서 성능 저하 없이 처리하는 문제에 대해 다룹니다. 기존의 길이 외삽, 효율적인 어텐션 및 메모리 모듈 개선에도 불구하고 여전히 난제로 남아있는 이 문제를 해결하기 위해, 연구진은 새로운 에이전트 워크플로우인 MemAgent를 제안합니다. MemAgent는 텍스트를 여러 세그먼트로 나누어 읽고, 덮어쓰기 전략을 사용하여 메모리를 업데이트합니다. 또한 DAPO 알고리즘을 확장하여 독립적 맥락 다중 대화 생성을 통한 학습을 용이하게 합니다. 실험 결과, MemAgent는 32K 텍스트로 학습된 8K 컨텍스트에서 3.5M QA 작업까지 외삽할 수 있으며, 성능 저하는 5% 미만이고 512K RULER 테스트에서 95% 이상의 성능을 달성했습니다.
시사점, 한계점
•
시사점:
◦
무한히 긴 문서를 선형 복잡도로 효율적으로 처리하는 새로운 방법 제시.
◦
긴 컨텍스트에서도 우수한 성능을 유지하는 MemAgent의 효과성 입증.
◦
DAPO 알고리즘 확장을 통한 효율적인 학습 방법 제시.
◦
극단적으로 긴 텍스트 처리에 대한 새로운 가능성 제시.
•
한계점:
◦
현재 제시된 MemAgent의 덮어쓰기 전략의 최적화 방향 및 한계에 대한 추가 연구 필요.
