본 논문은 현존하는 언어 모델의 창의적인 한계를 정량적으로 측정하기 위해, 실제 세계의 개방적인 과제들을 추상화한 최소한의 알고리즘 과제들을 설계합니다. 이 과제들은 추상적인 지식 그래프에서 새로운 연결을 발견하거나(예: 말장난, 유추, 연구) 새로운 패턴을 구성하는(예: 수학 문제나 새로운 단백질 설계) 암묵적이고 개방적인 확률적 계획 단계를 필요로 합니다. 실험적으로 그리고 개념적으로 다음 토큰 학습(next-token learning)의 근시안적인 면을 논하며, 교사 없는 학습(teacherless training)과 확산 모델과 같은 다중 토큰 접근 방식이 다양하고 독창적인 결과물을 생성하는 데 더 뛰어나다는 주장을 펼칩니다. 또한, 일관성을 해치지 않고 무작위성을 유도하기 위해 입력 계층에 노이즈를 주입하는 방법(seed-conditioning)이 출력 계층의 온도 샘플링만큼 효과적이며, 어떤 조건에서는 더 뛰어나다는 것을 발견합니다. 결론적으로, 본 연구는 개방적인 창의적 능력을 분석하기 위한 원칙적이고 최소한의 테스트 환경을 제공하며, 다음 토큰 학습과 온도 샘플링을 넘어서는 새로운 논거를 제시합니다.
