본 논문은 대규모 언어 모델(LLM)의 단점인 상태 비저장(stateless) 특성으로 인해 과거에 생성된 토큰에 대한 반실제적(counterfactual) 대안을 추론할 수 없는 문제를 해결하고자 한다. 이를 위해 Gumbel-Max 구조적 인과 모델을 기반으로 토큰 생성의 인과 모델을 개발하여 LLM이 반실제적 토큰 생성을 수행할 수 있도록 향상시켰다. 제안된 모델은 기존 토큰 생성과 비교하여 거의 추가적인 비용 없이 구현이 간단하며, 파인튜닝이나 프롬프트 엔지니어링이 필요하지 않다. Llama 3 8B-Instruct 및 Ministral-8B-Instruct에서 모델을 구현하고 정성적 및 정량적 분석을 수행하여 반실제적 텍스트 생성의 효과를 검증하였다. 마지막으로, 편향 감지에 대한 반실제적 토큰 생성의 실증적 적용을 통해 LLM이 구성한 세계 모델에 대한 통찰력을 제시한다.
