본 논문은 대규모 언어 모델(LLM)의 '소프트 사고(Soft Thinking)' 능력을 다양한 탐색 기법을 통해 분석합니다. 기존의 소프트 사고에 대한 기대와 달리, LLM들은 소프트 토큰의 가장 영향력 있는 구성 요소에 주로 의존하여 추론 경로 탐색이 제한됨을 밝힙니다. 이는 소프트 토큰을 통해 더 많은 정보를 전달하는 장점을 흐리게 만드는 그리디 디코딩과 유사합니다. 이 문제를 해결하기 위해, 디리클레 재샘플링 및 검벨-소프트맥스 기법과 같은 샘플링 전략을 통해 무작위성을 도입하고, 그 효과를 8가지 추론 벤치마크를 통해 실험적으로 검증합니다. 검벨-소프트맥스 기법이 적절한 무작위성과 제어된 부드러움을 제공하여 가장 우수한 성능을 보임을 확인합니다.
시사점, 한계점
•
시사점: 소프트 토큰을 활용한 소프트 사고는 단순한 그리디 디코딩으로 귀결될 수 있음을 밝히고, 무작위성을 도입하는 샘플링 전략(특히 Gumbel-Softmax)을 통해 성능 향상을 이끌어낼 수 있음을 제시합니다. LLM의 추론 과정에 대한 이해를 심화시키고, 소프트 사고의 효율적인 활용 방안을 제시합니다.
•
한계점: 제시된 샘플링 전략의 효과는 특정 벤치마크에 국한될 수 있으며, 다른 유형의 LLM이나 추론 과제에 대한 일반화 가능성은 추가 연구가 필요합니다. 또한, 무작위성 도입이 항상 성능 향상으로 이어지는 것은 아니며, 최적의 무작위성 수준을 결정하는 것은 여전히 과제로 남아있습니다.
