본 논문은 복잡한 추론 작업을 해결하기 위해 복합 AI 시스템에서 대규모 언어 모델(LLM) 에이전트를 점점 더 많이 사용하는 AI 실무자들을 위해, 에이전트 실행이 인간의 기준을 충족하지 못하고 시스템의 전반적인 성능을 저해하는 오류로 이어지는 문제를 해결하는 데 초점을 맞추고 있습니다. 에이전트의 불투명한 추론 과정, 인간의 기대와의 불일치, 에이전트 의존성의 복잡성, 그리고 수동 검사의 높은 비용으로 인해 인간의 개입을 통한 이러한 실패를 해결하는 것이 어렵기 때문에, 본 논문에서는 LLM 에이전트 실패를 검증하기 위한 인간 중심 평가 프레임워크인 VeriLA를 제시합니다. VeriLA는 인간의 노력을 줄이고 이러한 에이전트 실패를 인간이 해석할 수 있도록 에이전트 실패를 체계적으로 평가합니다. 인간이 설계한 에이전트 기준을 선별하여 각 에이전트에 대한 명확한 기대치를 정의하고, 인간의 골드 스탠다드로 훈련된 인간 정렬 에이전트 검증 모듈을 개발하여 각 에이전트의 실행 결과를 평가합니다. 이를 통해 인간의 기준에서 실패를 드러내고, 개정에 대한 명확한 지침을 제공하며, 인간의 인지 부하를 줄임으로써 각 에이전트의 성능을 세분화하여 평가할 수 있습니다. 사례 연구 결과는 VeriLA가 실무자가 시스템과 더 효과적으로 상호 작용하는 데 도움이 되는 해석 가능하고 효율적인 방법임을 보여줍니다. VeriLA는 인간과 에이전트의 협업에서 책임성을 유지함으로써 더욱 신뢰할 수 있고 인간 중심적인 복합 AI 시스템을 위한 길을 열어줍니다.
