Dualformer: Controllable Fast and Slow Thinking by Learning with Randomized Reasoning Traces
Created by
Haebom
저자
DiJia Su, Sainbayar Sukhbaatar, Michael Rabbat, Yuandong Tian, Qinqing Zheng
개요
본 논문은 인간의 사고 시스템(System 1, System 2)에 착안하여, 빠른 추론 모드(fast mode)와 느린 추론 모드(slow mode)를 모두 갖는 단일 Transformer 모델인 Dualformer를 제시합니다. Dualformer는 학습 과정에서 추론 과정의 일부를 의도적으로 제거한 무작위 추론 기록 데이터를 사용하여 훈련됩니다. 추론 시에는 빠른 모드, 느린 모드, 또는 두 모드를 자동으로 선택하는 자동 모드(auto mode) 중 하나를 선택하여 작동할 수 있습니다. 미지의 30x30 미로 탐색 과제에서 느린 모드에서는 97.6%의 최적 해결률을 달성하여 기존 Searchformer 모델(93.3%)을 능가하며, 추론 단계 수도 45.5% 줄였습니다. 빠른 모드에서는 80%의 최적 해결률을 달성하여, 해답만 학습한 모델(30%)보다 성능이 훨씬 우수했습니다. 자동 모드에서는 96.6%의 최적 해결률을 달성하며 Searchformer보다 추론 단계 수를 59.9% 줄였습니다. 또한, 수학 추론 문제에서도 LLM 미세 조정을 통해 성능 향상을 보이며, 특정 과제 모델을 넘어 일반화 가능성을 보여줍니다. 코드는 깃허브(https://github.com/facebookresearch/dualformer)에서 공개됩니다.
시사점, 한계점
•
시사점:
◦
단일 모델 내에서 빠른 추론과 느린 추론을 효율적으로 통합하는 새로운 접근 방식 제시.
◦
미로 탐색 및 수학 추론 문제에서 기존 모델보다 우수한 성능 및 효율성 달성.
◦
자동 모드를 통해 모델이 상황에 맞게 추론 모드를 스스로 선택 가능.
◦
다양한 추론 과정 생성.
◦
오픈소스 공개를 통한 연구 확장 및 활용 가능성 증대.
•
한계점:
◦
본 논문에서 제시된 방식의 일반화 가능성에 대한 추가적인 연구 필요. (다양한 작업에 대한 테스트 결과가 더 필요함.)
