본 논문은 생성형 AI(예: ChatGPT)의 출력이 반복적이고 편향적일 뿐만 아니라, 사용자의 인지 없이 중간 응답 과정에서 정확한 정보에서 잘못된 정보로 돌변하는 '전환 불안정성' 현상을 다룬다. 2024년 한 해에만 이 현상으로 인해 670억 달러의 손실과 여러 사망 사고가 발생했다는 보고가 있다. 연구진은 AI의 기본적인 'Attention head'를 다중 스핀 열 시스템에 매핑하는 수학적 모델을 제시하여 이러한 전환 불안정성을 밝히고, 사용자의 프롬프트 선택과 AI의 훈련 편향이 전환 지점에 미치는 영향을 보여주는 간단하면서도 정확한 공식을 도출했다. 또한, AI의 다층 아키텍처가 출력 전환을 증폭시키는 과정을 보여준다. 이 연구는 AI의 투명성, 설명 가능성, 성능 향상에 기여할 뿐만 아니라, 사용자의 AI 위험 및 법적 책임을 정량화하는 길을 열어줄 것으로 기대된다.
