자율적으로 작동하며 정의된 목표를 향해 나아가는 에이전트 AI 시스템은 다양한 분야에서 유용한 AI 시스템을 제공할 수 있다. 그러나 충분하지 않은 신뢰성으로 인해 의료 또는 공정 산업과 같은 고위험 분야에 부적합하다. 본 연구에서는 에이전트 AI 시스템의 특징을 기반으로 작동 중 주요 신뢰성 문제를 도출하고, 기존 AI 시스템과의 연관성을 파악한다. 주요 기여는 새로운 입력에 대한 OOD 감지 레이어와 내부 작동을 공개하는 AI 투명성 레이어로 구성된 2계층 신뢰성 모니터링 프레임워크를 제안하는 것이다. 이 프레임워크는 잠재적으로 신뢰할 수 없는 출력을 판단하고 개입할 수 있도록 인간 운영자에게 의사 결정 지원을 제공한다.