NYT-Connections: A Deceptively Simple Text Classification Task that Stumps System-1 Thinkers
작성자
- Haebom
카테고리
비어 있음
저자
Angel Yahir Loredo Lopez, Tyler McDonald, Ali Emami
개요
본 논문은 뉴욕 타임즈의 Connections 게임에서 파생된 358개의 단어 분류 퍼즐로 구성된 NYT-Connections 벤치마크를 제시합니다. 이 벤치마크는 빠르고 직관적인 "시스템 1" 사고를 방지하고 기본적인 추론 능력을 평가하도록 설계되었습니다. GPT-4를 포함한 6개의 최신 LLMs, 단순 기계 학습 휴리스틱, 그리고 사람들을 대상으로 단일 시도, 힌트 없이 여러 번 시도, 문맥 힌트를 사용한 여러 번 시도의 세 가지 설정에서 평가를 진행했습니다. 그 결과, 최고 성능의 LLMs조차도 인간의 성능에 크게 못 미치는 것으로 나타났으며(약 30% 차이), Chain-of-Thought나 Self-Consistency와 같은 고급 프롬프트 기법은 과제 난이도가 증가함에 따라 효과가 감소하는 것으로 확인되었습니다. NYT-Connections는 언어적 격리, 직관적인 지름길에 대한 저항성, 데이터 유출 완화를 위한 정기적인 업데이트를 독특하게 결합하여 LLM 추론 능력을 평가하는 새로운 도구를 제공합니다.
시사점, 한계점
•
시사점:
◦
NYT-Connections 벤치마크는 LLMs의 추론 능력을 평가하는 새로운 기준을 제시합니다.
◦
현재 최고 성능의 LLMs조차도 인간의 추론 능력에는 크게 미치지 못함을 보여줍니다.
◦
고급 프롬프트 기법의 효과는 과제 난이도에 따라 감소할 수 있습니다.
◦
LLM의 추론 능력 향상을 위한 연구 방향을 제시합니다.
•
한계점:
◦
NYT-Connections 벤치마크는 단어 분류 퍼즐에 국한되어 있어, LLMs의 추론 능력을 전반적으로 평가하기에는 제한적일 수 있습니다.
◦
벤치마크의 규모가 상대적으로 작을 수 있습니다.
◦
특정 유형의 추론 능력에만 집중되어 다른 유형의 추론 능력은 평가하지 못할 수 있습니다.
