Free(): Learning to Forget in Malloc-Only Reasoning Models

Created by

Haebom

저자

Yilun Zheng, Dongyang Ma, Tian Liang, Jiahao Xu, Xinting Huang, Lijie Chen, Haitao Mi, Yan Wang

💡 개요

본 연구는 추론 모델이 불필요한 정보를 계속 축적하여 성능 저하를 일으키는 "malloc-only" 아키텍처의 한계를 지적합니다. 이를 해결하기 위해, 본 논문은 LoRA 어댑터 기반의 Free-Module을 도입하여 모델이 스스로 오래된 정보를 제거하는 "Free()LM"을 제안합니다. Free()LM은 추론과 정보 정제 모드를 반복하며 맥락 정보를 동적으로 관리하여 일관된 성능 향상을 달성했습니다.

🔑 시사점 및 한계

•

기존 LLM의 정보 축적 문제를 해결하기 위한 새로운 자기 망각(self-forgetting) 능력 도입

•

장기 추론 과제에서 심각한 성능 저하를 겪는 기존 모델 대비 획기적인 성능 회복

•

모델 규모에 따른 일관된 성능 개선 및 새로운 SOTA 달성

•

Free-Module의 효율적인 정보 식별 및 제거를 위한 추가 연구 필요

•

망각 메커니즘이 모델의 창의성이나 새로운 정보 학습에 미치는 영향 분석 필요

PDF 보기

Made with Slashpage