본 논문은 다회차 대화 환경에서 대규모 언어 모델(LLM) 기반 에이전트의 평가 방법을 조사한 설문 조사입니다. PRISMA 기반 프레임워크를 사용하여 250편에 가까운 학술 자료를 체계적으로 검토하여 다양한 출판 매체의 최신 기술을 파악하고 분석을 위한 견고한 기반을 마련했습니다. 본 연구는 '무엇을 평가할 것인가'를 정의하는 분류 체계와 '어떻게 평가할 것인가'를 설명하는 또 다른 분류 체계라는 두 가지 상호 연관된 분류 체계를 개발하여 구조화된 접근 방식을 제공합니다. 첫 번째 분류 체계는 작업 완료, 응답 품질, 사용자 경험, 메모리 및 컨텍스트 유지, 계획 및 도구 통합을 포함하여 다회차 대화를 위한 LLM 기반 에이전트의 주요 구성 요소와 평가 차원을 식별합니다. 이러한 구성 요소는 대화형 에이전트의 성능을 전체적이고 의미 있는 방식으로 평가할 수 있도록 합니다. 두 번째 분류 체계는 평가 방법론에 중점을 둡니다. 이는 주석 기반 평가, 자동화된 지표, 인간 평가와 정량적 측정을 결합한 하이브리드 전략, LLM을 활용하는 자체 판단 방법으로 접근 방식을 분류합니다. 이 프레임워크는 BLEU 및 ROUGE 점수와 같은 언어 이해에서 파생된 기존 지표를 포착할 뿐만 아니라 다회차 대화의 역동적이고 상호 작용적인 특성을 반영하는 고급 기술도 통합합니다.
