Test-Time Scaling in Reasoning Models Is Not Effective for Knowledge-Intensive Tasks Yet
Created by
Haebom
저자
James Xu Zhao, Bryan Hooi, See-Kiong Ng
개요
본 논문은 지식 집약적 과제에서 검증 시 확장(Test-time scaling, TTS)의 효과를 평가한 연구입니다. TTS는 추론 시간 계산을 늘려 긴 추론 체인을 생성함으로써 다양한 영역에서 강력한 성능을 보였지만, 높은 사실 정확도와 낮은 환각률이 필수적인 지식 집약적 과제에서는 효과적이지 않음을 보여줍니다. 12개의 추론 모델과 두 개의 지식 집약적 벤치마크를 사용하여 광범위한 평가를 수행한 결과, TTS가 정확도를 일관되게 향상시키지 않고 오히려 환각을 증가시키는 경우가 많다는 것을 발견했습니다. 또한, 확장된 추론이 환각 행동에 어떤 영향을 미치는지 분석하여, 환각 감소는 개선된 사실 회상보다는 더 많은 사고 후 모델이 회피하는 것을 선택하는 데서 비롯되는 경우가 많다는 것을 밝혔습니다. 일부 모델의 경우 긴 추론은 이전에 답변하지 않은 질문에 대한 시도를 유도하며, 이 중 상당수는 환각으로 이어집니다. 사례 연구를 통해 확장된 추론이 확증 편향을 유발하여 과신에 기반한 환각으로 이어질 수 있음을 보여줍니다. 하지만 비추론 대비 추론을 허용하는 것이 여전히 유익하다는 점을 확인했습니다. 코드와 데이터는 https://github.com/XuZhao0/tts-knowledge 에서 이용 가능합니다.
시사점: 지식 집약적 과제에서 TTS의 효과에 대한 심층적인 이해를 제공합니다. TTS가 항상 성능 향상으로 이어지는 것은 아니며, 오히려 부정적인 영향을 미칠 수 있음을 보여줍니다. 환각 감소는 사실 회상 개선보다는 모델의 회피 전략과 관련이 있음을 시사합니다. 비추론 대비 추론의 유용성을 확인했습니다.
•
한계점: 특정 모델과 벤치마크에 국한된 결과일 수 있습니다. TTS의 효과는 과제의 특성과 모델의 설계에 따라 달라질 수 있습니다. 확증 편향과 같은 인지적 편향에 대한 추가적인 연구가 필요합니다. 더 다양한 지식 집약적 과제와 모델에 대한 평가가 필요합니다.
