BIS Reasoning 1.0은 대규모 일본어 삼단논법 추론 문제 데이터셋으로, 대규모 언어 모델(LLM)의 신념 불일치 추론을 평가하기 위해 명시적으로 설계되었습니다. 기존의 NeuBAROCO나 JFLD와 달리 일반적 또는 신념 일치 추론에 초점을 맞추지 않고, 논리적으로 타당하지만 신념과 불일치하는 삼단논법을 도입하여 인간 정렬 코퍼스로 훈련된 LLM의 추론 편향을 밝힙니다. GPT 모델, Claude 모델, 주요 일본어 LLM 등 최첨단 모델을 벤치마킹한 결과 성능에 상당한 차이가 있으며, GPT-4o는 79.54%의 정확도를 달성했습니다. 논리적으로 타당하지만 신념과 상충하는 입력을 처리할 때 현재 LLM의 중요한 약점을 확인했습니다.
시사점, 한계점
•
시사점:
◦
LLM의 신념 불일치 추론 능력 평가를 위한 새로운 대규모 일본어 데이터셋 제공.
◦
최첨단 LLM의 신념 불일치 추론에서의 취약점을 밝힘.
◦
법률, 의료, 과학 문헌 등 고위험 영역에서 LLM 배포 시 중요한 함의 제시 (진실이 직관적 신념보다 우선되어야 함).
