본 논문은 대규모 언어 모델(LLM)의 후회(regret) 메커니즘을 이해하고 향상시키기 위한 연구이다. LLM이 자신이 생성한 잘못된 정보와 모순되는 증거를 접했을 때, 명시적으로 후회를 표현하는 현상을 연구하여 모델의 신뢰성을 높이고 신경망 내 인지 과정을 밝히는 것을 목표로 한다. 이를 위해 후회 표현 식별, 내부 표현 분석(은닉 상태 및 뉴런 수준 분석)이 필요하지만, 관련 데이터셋 부족, 최적 표현 계층 및 후회 뉴런 식별 지표 부재 등의 어려움이 존재한다. 따라서 본 논문은 후회 데이터셋 구축 워크플로우, 최적 표현 계층을 찾는 S-CDI 지표, 후회 뉴런 식별 및 분석을 위한 RDS 및 GIC 지표를 제안한다. 실험 결과, S-CDI 지표를 사용하여 최적의 후회 표현 계층을 성공적으로 식별하였고, M자 형태의 디커플링 패턴을 발견하여 정보 처리 과정을 밝혔으며, RDS 지표를 통해 뉴런을 후회 뉴런, 비후회 뉴런, 이중 뉴런으로 분류하였다.
