본 논문은 추론 집약적 회귀(RiR) 문제에 초점을 맞추고 있다. RiR은 텍스트로부터 미묘한 수치적 특성을 추론하는 과정으로, 감정 분석이나 유사도 측정과 같은 표준 언어 회귀 작업과는 달리, 루브릭 기반 채점이나 도메인 특정 검색 등의 임시적인 문제에서 자주 나타난다. 제한된 작업별 훈련 데이터와 계산 자원만 사용 가능한 상황에서 텍스트에 대한 심층 분석이 요구된다는 특징이 있다. 연구진은 세 가지 현실적인 문제를 RiR 과제로 설정하여 기준을 마련하고, 고정된 거대 언어 모델(LLM) 프롬프트와 Transformer 인코더의 미세 조정이 RiR에서 어려움을 겪을 것이라는 가설을 검증했다. 이를 위해 배치 반영 프롬프트 최적화와 신경망 앙상블 학습을 결합한 경량 방식인 MENTAT를 제안하고, MENTAT가 기준 모델보다 최대 65%의 성능 향상을 달성했음을 보여준다. 하지만 RiR 분야에는 여전히 상당한 발전 여지가 남아있다고 결론짓는다.
