본 논문은 언어 모델 추론 시 더 많은 연산(예: 중간 생각 생성, 여러 후보 답변 샘플링)을 사용하는 것이 성능 향상에 효과적임을 보여주는 연구에 기반하여, 실제 언어 모델 추론과 이론적 변환기 분석 간의 격차를 줄이기 위한 초기 단계를 제시합니다. 연속/이진 계수를 사용한 문맥 내 선형 회귀에 초점을 맞춰, 잡음 주입 및 이진 계수 샘플링을 통해 언어 모델 디코딩을 시뮬레이션하는 프레임워크를 제시합니다. 이 프레임워크를 통해 널리 사용되는 추론 기법들을 상세히 분석하고, 실험 결과를 바탕으로 실제 언어 모델의 추론 동작을 이해하는 데 새로운 통찰력을 제공할 가능성을 보여줍니다.
