본 논문은 대규모 선형 어텐션 디코더에서 소프트맥스 어텐션 트랜스포머를 빠르게 변환하는 프로토콜인 RADLADS(Rapid Attention Distillation to Linear Attention Decoders at Scale)를 제시합니다. 두 가지 새로운 RWKV 변형 아키텍처와 인기 있는 Qwen2.5 오픈 소스 모델(7B, 32B, 72B 크기)에서 변환된 모델을 포함합니다. 변환 과정에는 3억 5천만에서 7억 토큰만 필요하며, 이는 원래 교사 모델을 훈련하는 데 사용된 토큰 수의 0.005% 미만입니다. 72B 선형 어텐션 모델로의 변환 비용은 현재 가격으로 2,000달러 미만이며, 추론 성능은 원래 트랜스포머와 거의 동일합니다. 이 모델들은 해당 크기의 선형 어텐션 모델에 대한 표준 벤치마크 집합에서 최첨단의 다운스트림 성능을 달성합니다. 모든 모델은 Apache 2.0 라이선스에 따라 HuggingFace에 공개되며, 72B 모델은 Qwen 라이선스 계약도 적용됩니다.
