How can we assess human-agent interactions? Case studies in software agent design
Created by
Haebom
저자
Valerie Chen, Rohit Malhotra, Xingyao Wang, Juan Michelini, Xuhui Zhou, Aditya Bharat Soni, Hoang H. Tran, Calvin Smith, Ameet Talwalkar, Graham Neubig
PULSE: Framework for Human-Centric Evaluation of LLM Agents
개요
본 논문은 LLM 기반 에이전트의 설계 평가를 위한 새로운 프레임워크인 PULSE를 제안합니다. PULSE는 사용자 피드백 수집, 사용자 만족도 예측을 위한 ML 모델 훈련, 인간 만족도 평점과 모델 생성 유사 레이블을 결합하여 결과를 계산하는 방식으로 구성됩니다. 또한, 오픈 소스 에이전트 OpenHands를 기반으로 구축된 대규모 웹 플랫폼에서 PULSE를 배포하여 15,000명 이상의 사용자에 걸쳐 실제 사용 데이터를 수집합니다. LLM 백본 선택, 계획 전략, 메모리 메커니즘과 같은 세 가지 에이전트 설계 결정이 개발자 만족도에 미치는 영향에 대한 사례 연구를 수행하고, 표준 A/B 테스트에 비해 신뢰 구간을 40% 줄여 에이전트 설계에 대한 보다 강력한 결론을 도출하는 방법을 보여줍니다. 벤치마크 성능과 실제 결과 간의 상당한 불일치도 발견하여 벤치마크 기반 평가의 한계를 강조합니다.
시사점, 한계점
•
시사점:
◦
LLM 에이전트 설계를 위한 효율적인 인간 중심 평가 프레임워크인 PULSE 제안.
◦
실제 사용 데이터를 활용한 대규모 사례 연구를 통해 에이전트 설계 결정이 사용자 만족도에 미치는 영향 분석.
