본 논문은 거대 언어 모델(LLM)의 자기 지식(self-knowledge)에 대한 기존 연구의 한계를 지적하며, LLM이 스스로 "모르겠다"라고 말할 수 있는 능력에 초점을 맞춥니다. 기존 연구는 주로 인간이 정의한 실행 가능성의 개념에 국한되었지만, 본 연구는 LLM이 답변할 수 없는 이유와 자기 지식의 부족한 유형에 대한 연구를 수행하지 못했습니다. 본 연구는 LLM 스스로 실행 가능성의 경계를 설정하도록 허용하는 새로운 방법론을 통해 LLM의 자기 지식의 다양한 유형에 대한 통찰력을 얻고자 합니다. GPT-4o 및 Mistral Large와 같은 최첨단 모델조차도 자체 기능에 대해 80% 이상 확신하지 못한다는 사실을 발견하여 응답의 신뢰성 부족을 강조합니다. LLM의 신뢰도 균형 분석을 통해 모델이 작업 범주에 따라 과신과 보수주의 사이를 오가며, 가장 중요한 자기 지식 약점은 시간적 인식과 문맥 이해에 있다는 것을 밝힙니다. 문맥 이해의 어려움은 모델이 작동 경계에 의문을 품게 하여 LLM의 자기 지식 내에서 상당한 혼란을 야기합니다. 코드와 결과는 공개적으로 공유됩니다.
