THELMA: Task Based Holistic Evaluation of Large Language Model Applications-RAG Question Answering
Created by
Haebom
저자
Udita Patel, Rutu Mulkar, Jay Roberts, Cibi Chakravarthy Senthilkumar, Sujay Gandhi, Xiaofei Zheng, Naumaan Nayyar, Parul Kalra, Rafael Castrillo
개요
본 논문은 RAG(Retrieval Augmented Generation) 기반 질의응답(QA) 애플리케이션을 위한 참조 없는 평가 프레임워크인 THELMA(Task Based Holistic Evaluation of Large Language Model Applications)를 제안한다. THELMA는 RAG QA 애플리케이션의 전체적이고 세분화된 평가를 위해 특별히 설계된 6가지 상호 의존적인 지표로 구성된다. THELMA 프레임워크는 개발자와 애플리케이션 소유자가 라벨링된 소스나 참조 응답 없이도 종단 간 RAG QA 파이프라인을 평가, 모니터링 및 개선하는 데 도움을 준다. 또한 제안된 THELMA 지표들의 상호 작용에 대한 연구 결과를 제시하며, 이를 통해 QA 애플리케이션에서 개선이 필요한 특정 RAG 구성 요소를 식별할 수 있다.
시사점, 한계점
•
시사점:
◦
라벨링된 데이터가 필요 없는 RAG 기반 QA 시스템의 참조 없는 평가 프레임워크 제공
◦
6가지 상호 의존적인 지표를 통해 RAG QA 파이프라인의 전체적이고 세분화된 평가 가능
◦
특정 RAG 구성 요소 개선 필요성 식별 가능
◦
개발자와 애플리케이션 소유자의 종단 간 RAG QA 파이프라인 모니터링 및 개선 지원
•
한계점:
◦
제시된 6가지 지표의 구체적인 내용과 계산 방법에 대한 자세한 설명 부족 (논문 내용만으로는 한계가 존재)
