본 논문은 복잡한 다단계 추론 작업에서 어려움을 겪는 현존 대규모 언어 모델(LLM)의 한계를 해결하기 위해, 단일 자기회귀 LLM이 내부적으로 유향 비순환 그래프(DAG)를 구성하고 탐색하는 사고의 다이어그램(DoT) 프레임워크를 제시합니다. DoT는 아이디어 제안, 비판, 피드백 기반 개선, 결론 종합 등의 반복적인 추론 과정을 DAG로 나타냅니다. 표준 생성 루프에 내장된 역할별 토큰(예: , , )에 의해 안내되는 자체 조정, 자체 포함 프로세스를 통해 외부 의존성을 제거합니다. 특히, 토포스 이론을 사용하여 DoT에 대한 엄격한 수학적 기반을 확립하고, 추론 DAG를 적절한 토포스 내의 다이어그램으로 공식화하여 최종 종합 단계(검증된 정보의 집계)가 관련 하위 다이어그램의 공극한계를 계산하는 것과 의미적으로 일치함을 증명합니다. 이 공식화는 종합된 결과의 논리적 일관성과 강건성에 대한 이론적 보장을 제공합니다. 따라서 DoT는 통합적이고, 자체 포함적이며, 해석 가능하고, 효율적이며, 형식적으로 기반을 둔 접근 방식을 제공하여 LLM의 복잡한 추론 능력을 크게 향상시키도록 설계되었습니다.
