대규모 언어 모델(LLM)은 AI를 혁신했지만, 여전히 실수를 하고 비생산적인 추론 경로를 탐색하는 경향이 있다. 안전이 중요한 분야에서 LLM을 배포하려면 자기 수정 능력이 필수적이다. 본 연구는 LLM이 자체 출력의 오류를 수정하지 못하면서 외부 소스의 동일한 오류를 성공적으로 수정하는 "자기 수정 맹점"이라는 체계적인 실패를 발견했다. 이를 연구하기 위해, 세 가지 복잡성 수준에서 제어된 오류 주입을 통해 이 현상을 측정하는 평가 프레임워크인 Self-Correction Bench를 제시했다. 14개의 오픈 소스 비추론 모델을 테스트한 결과, 평균 64.5%의 맹점 비율을 발견했다. 이러한 한계는 훈련 데이터의 영향을 받을 수 있음을 시사하는 여러 증거를 제시한다. 구체적으로, 인간 시연은 오류 수정 시퀀스를 거의 포함하지 않는 반면, 강화 학습(RL) 훈련 모델은 결과 피드백을 통해 오류 수정을 학습한다. 주목할 만하게도, 최소한의 "대기" 프롬프트를 추가하면 맹점이 89.3% 감소하여, 트리거가 필요한 잠재된 기능이 있음을 시사한다. 본 연구는 훈련 분포의 영향을 받을 수 있는 중요한 한계를 강조하고, LLM의 신뢰성을 향상시키는 실용적인 접근 방식을 제시한다.
