HiL-Bench (Human-in-Loop Benchmark): Do Agents Know When to Ask for Help?

Created by

Haebom

저자

Mohamed Elfeki, Tu Trinh, Kelvin Luu, Guangze Luo, Nathan Hunt, Ernesto Montoya, Nandan Marwaha, Yannis He, Charles Wang, Fernando Crabedo, Alessa Castilo, Bing Liu

💡 개요

본 논문은 AI 에이전트가 불완전하거나 모호한 상황에서 언제 도움을 요청해야 하는지를 측정하는 새로운 벤치마크인 HiL-Bench를 제안합니다. 기존 벤치마크와 달리 HiL-Bench는 탐색을 통해 드러나는 실제적인 문제점을 포함하며, 질문의 정확성과 문제점 발견율을 결합한 Ask-F1 점수를 통해 에이전트의 '도움 요청 능력'을 평가합니다. 실험 결과, 최첨단 모델들도 도움 요청 능력에서 상당한 격차를 보이며, 이는 모델 자체의 근본적인 flaw임을 시사합니다.

🔑 시사점 및 한계

•

AI 에이전트의 단순한 실행 능력을 넘어, 불확실성을 인지하고 적시에 도움을 요청하는 '판단 능력'이 복잡한 문제 해결에 있어 핵심적인 요소임을 보여줍니다.

•

HiL-Bench는 에이전트의 '도움 요청' 능력을 정량적으로 측정할 수 있는 새로운 평가 프레임워크를 제공하며, 이는 향후 AI 시스템 설계 및 평가에 중요한 기준점이 될 수 있습니다.

•

현재 모델들은 도움 요청 신호 탐지 능력이 부족하며, 이는 모델 자체의 근본적인 문제로, 훈련을 통해 개선될 수 있음을 확인했습니다.

•

다양한 도메인에 걸쳐 도움 요청 능력을 향상시키기 위해서는 도메인별 휴리스틱 학습이 아닌, 해결 불가능한 불확실성을 감지하고 이에 대응하는 일반적인 능력 학습이 중요합니다.

•

본 연구는 도움 요청 능력의 부족이 모델의 근본적인 flaw임을 강조하지만, 아직 실제 인간과의 상호작용에서 발생할 수 있는 모든 복잡한 시나리오를 완벽하게 포괄하지는 못할 수 있습니다.

PDF 보기

Made with Slashpage