본 논문은 언어 모델이 숫자 예측을 문자열로 디코딩하여 회귀 분석을 수행할 수 있다는 점을 이론적으로 뒷받침하고, 인과적 시퀀스 디코딩 모델을 다양한 특징 표현에 대한 숫자 회귀 헤드로 활용하는 것을 연구합니다. 교차 엔트로피 손실을 통해 다음 토큰 예측을 학습하는 일반적인 방식으로 학습되었음에도 불구하고, 디코더 기반 헤드는 표준 회귀 작업에서 표준 pointwise 헤드와 동등한 성능을 보이며, 밀도 추정과 같이 부드러운 숫자 분포를 포착하는 유연성을 가진다는 것을 발견했습니다.
