When Agents Disagree With Themselves: Measuring Behavioral Consistency in LLM-Based Agents

Created by

Haebom

저자

Aman Mehta

💡 개요

본 연구는 동일한 LLM 기반 에이전트가 동일한 태스크에 대해 실행될 때 행동 일관성이 부족하다는 점을 발견했습니다. Llama 3.1 70B, GPT-4o, Claude Sonnet 4.5 모델을 사용하여 HotpotQA 태스크에서 3,000번의 실행을 분석한 결과, ReAct 스타일 에이전트가 평균적으로 10번 실행 시 2.0~4.2개의 서로 다른 행동 시퀀스를 생성하는 것으로 나타났습니다. 이러한 행동 불일치는 태스크 실패와 높은 상관관계를 보이며, 초기 결정 단계(첫 번째 검색 쿼리)에서 주로 발생함을 확인했습니다.

🔑 시사점 및 한계

•

LLM 기반 에이전트의 행동 불일치는 예측 가능한 현상이며, 태스크 성공률에 직접적인 영향을 미칩니다.

•

실행 중 행동 일관성을 모니터링하는 것이 에이전트의 오류를 조기에 감지하고 신뢰성을 높이는 효과적인 방법이 될 수 있습니다.

•

본 연구는 ReAct 스타일 에이전트와 HotpotQA 태스크에 국한된 결과이며, 다른 에이전트 아키텍처나 태스크에 대한 일반화 가능성은 추가적인 연구가 필요합니다.

•

에이전트의 행동 불일치를 줄이기 위한 구체적인 방법론 개발이 향후 과제로 남아있습니다.

PDF 보기

Made with Slashpage