본 논문은 대규모 언어 모델(LLM)의 고차원적 사고 능력 평가를 위한 새로운 프레임워크인 THiNK (Testing Higher-order Notion of Knowledge)를 제안합니다. THiNK는 블룸의 분류 체계를 기반으로 문제 생성, 비판, 수정의 반복적인 과정을 통해 LLM의 추론 능력을 평가합니다. 이는 저차원(기억, 이해) 및 고차원(평가, 창조) 사고 능력 모두를 체계적으로 평가할 수 있도록 합니다. 본 연구는 7개의 최첨단 LLM에 THiNK를 적용하여 출력에 대한 심층적인 인지 분석을 수행하였으며, 모델들이 저차원 사고는 잘 수행하지만 현실적인 상황에서 지식을 적용하는 데 어려움을 겪고 추상적 사고 능력이 제한적임을 발견했습니다. 구조화된 피드백 루프는 특히 고차원 사고에서 추론 성능을 크게 향상시키는 것으로 나타났습니다. 정성적 평가는 THiNK 기반 출력이 도메인 논리 및 문제 구조와 더 잘 일치함을 확인했습니다. 제공된 프레임워크 코드는 LLM 추론 능력을 탐색하고 향상시키는 확장 가능한 방법론을 제공합니다.
