본 논문은 현존하는 언어 모델의 창의적 한계를 정량적으로 측정하기 위해, 실제 세계의 개방적인 과제들을 추상화한 최소한의 알고리즘 과제들을 설계합니다. 이 과제들은 추상적 지식 그래프에서 새로운 연결을 발견하거나 (예: 말장난, 유추, 연구) 새로운 패턴을 구성하는 (예: 수학 문제나 새로운 단백질 설계) 암묵적이고 개방적인 확률적 계획 단계를 필요로 합니다. 실험적으로 다음 토큰 학습의 근시안적인 면을 논증하고, 교사 없는 학습과 확산 모델과 같은 다중 토큰 접근 방식이 다양하고 독창적인 결과물을 생성하는 데 우수함을 보여줍니다. 또한, 일관성을 해치지 않고 무작위성을 유도하기 위해 입력 계층에 노이즈를 주입하는 방법(Seed-conditioning)이 출력 계층의 온도 샘플링만큼 효과적이며, 어떤 조건에서는 더 나은 결과를 보임을 발견했습니다. 결론적으로, 본 논문은 개방적인 창의적 기술을 분석하기 위한 원칙적이고 최소한의 테스트 환경을 제공하고, 다음 토큰 학습과 온도 샘플링을 넘어서는 새로운 논거를 제시합니다. 일부 코드는 GitHub에서 공개됩니다.
