대규모 언어 모델(LLM)의 확장은 발전을 이끌었지만, 효율성이 감소하고 에너지 요구량이 증가하는 문제에 직면했습니다. 본 연구는 훈련 과정 대신 추론 시간에 추가적인 컴퓨팅 자원을 할당하는 테스트 시간 컴퓨팅(TTC)이 기존의 확장 전략을 보완하는 에너지 효율적인 방법이 될 수 있음을 탐구합니다. 특히, TTC가 모델 크기를 단순히 늘리는 것보다 더 우수한 정확도-에너지 트레이드 오프를 달성할 수 있는지 조사합니다. 실험 결과, TTC는 정확도/에너지 효율성 측면에서 기존의 모델 확장을 능가했으며, 단순한 사실 회상보다 복잡한 추론을 요구하는 작업에서 상당한 이점을 보였습니다. 또한, TTC 성능과 출력 시퀀스 길이 간의 중요한 상호 작용을 확인했으며, 쿼리 복잡성에 따라 추론 시간에 컴퓨팅 자원을 전략적으로 조정하면 효율성을 크게 향상시킬 수 있음을 보여주었습니다. 본 연구는 TTC가 미래 언어 모델의 보다 지속 가능하고 정확하며 적응 가능한 배포를 가능하게 하는 유망한 방향임을 제시합니다.
