Catch Your Breath: Adaptive Computation for Self-Paced Sequence Production

Created by

Haebom

저자

Alexandre Galashov, Matt Jones, Rosemary Ke, Yuan Cao, Vaishnavh Nagarajan, Michael C. Mozer

💡 개요

기존 파운데이션 모델의 추론 시간 스케일링 기법 중, 입력 스트림에 특수 토큰을 삽입하여 모델 응답을 지연시키는 폭 기반 스케일링은 높은 병렬성을 유지하면서 모델 표현력을 향상시키는 장점을 가집니다. 본 논문은 기존의 교차 엔트로피 손실 함수가 모델 스스로 처리 단계를 조절하거나 응답 준비 신호를 보내는 메커니즘이 없다는 한계를 지적합니다. 이에 제안된 Catch Your Breath (CYB) 손실 함수는 순차 결정 문제로 프레임워크화하여, 모델이 각 입력 토큰에 대해 동적으로 추가 연산 단계를 결정하도록 훈련시킵니다.

🔑 시사점 및 한계

•

모델이 스스로 필요한 연산량을 조절하여 효율성을 높일 수 있습니다.

•

사전 학습 및 미세 조정 단계에서 CYB를 적용하면 추가적인 계산 및 메모리 비용 없이 성능 향상을 가져옵니다.

•

CYB는 특수 토큰을 통해 모델 응답을 지연시키는 방식으로, 추가적인 연산 단계를 정적인 장벽이 아닌 자원으로 활용하는 유연성을 제공합니다.

•

CYB는 추가 연산 단계를 얻기 위해 여러 번의 지연 신호를 보낼 수 있도록 설계되었습니다.

PDF 보기

Made with Slashpage