본 논문은 대규모 언어 모델(LLM)의 부정확하고, 편향되고, 유해한 응답 생성 가능성에 대한 위험을 다룹니다. 기존의 접근 방식이 특정 문제(예: 유해한 응답)를 목표로 하는 것과 달리, 본 논문에서는 인과 분석에 기반한 혁신적인 LLM 모니터링 기법인 LLMScan을 제시합니다. LLMScan은 인과 추론을 통해 LLM의 내부 동작을 체계적으로 모니터링하여 LLM의 '두뇌'가 잘못된 행동을 할 때 다르게 작동한다는 전제하에 작동합니다. LLM의 입력 토큰과 변압기 계층의 인과적 기여를 분석함으로써 LLMScan은 잘못된 행동을 효과적으로 감지합니다. 다양한 작업과 모델에 대한 광범위한 실험은 정상적인 행동과 잘못된 행동 간의 인과적 분포에서 명확한 차이를 보여주어 다양한 잘못된 행동 감지 작업을 위한 정확하고 가벼운 검출기를 개발할 수 있음을 보여줍니다.
