Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Scaling Reasoning without Attention

Created by
  • Haebom

저자

Xueliang Zhao, Wei Wu, Lingpeng Kong

개요

본 논문은 Transformer 기반의 아키텍처 비효율성과 고난이도 영역에 대한 구조화된 미세 조정 부족이라는 두 가지 핵심 과제를 해결하는 주의 메커니즘이 없는 언어 모델인 \ourmodel을 제시합니다. Mamba-2의 상태 공간 이중(SSD) 계층을 기반으로 구축된 \ourmodel은 자기 주의와 키-값 캐싱이 필요 없어 고정 메모리, 일정 시간 추론을 가능하게 합니다. 복잡한 추론을 위해 추상적 개념 선택과 근거 기반 생성을 통해 교육적으로 구조화된 문제를 생성하는 \textsc{PromptCoT} 합성 패러다임을 기반으로 하는 2단계 커리큘럼 미세 조정 전략을 제안합니다. 벤치마크 평가에서 \ourmodel-7B는 유사한 규모의 강력한 Transformer 및 하이브리드 모델을 능가하고, AIME 24에서 Gemma3-27B보다 2.6%, AIME 25에서 0.6%, Livecodebench에서 3.0% 더 높은 성능을 보였습니다. 이러한 결과는 상태 공간 모델이 고용량 추론을 위한 주의 기반 아키텍처에 대한 효율적이고 확장 가능한 대안으로서의 잠재력을 강조합니다.

시사점, 한계점

시사점:
주의 메커니즘이 없는 상태 공간 모델이 고용량 추론 작업에서 Transformer 기반 모델보다 우수한 성능을 달성할 수 있음을 보여줍니다.
\textsc{PromptCoT} 기반의 2단계 커리큘럼 미세 조정 전략이 고난이도 추론 문제 해결에 효과적임을 시사합니다.
고정 메모리, 일정 시간 추론을 가능하게 하는 효율적인 아키텍처를 제시합니다.
대규모 언어 모델의 아키텍처 효율성 향상에 대한 새로운 가능성을 제시합니다.
한계점:
\ourmodel의 성능 향상이 특정 벤치마크 및 데이터셋에 국한될 수 있습니다.
제안된 2단계 커리큘럼 미세 조정 전략의 일반화 가능성에 대한 추가 연구가 필요합니다.
상태 공간 모델의 확장성 및 다양한 작업에 대한 적용 가능성에 대한 추가적인 검증이 필요합니다.
논문에서 \ourmodel의 구체적인 아키텍처 세부 사항과 구현에 대한 자세한 설명이 부족할 수 있습니다.
👍