대규모 언어 모델(LLM)의 현재 평가 방식은 과대평가, 편향된 평가, 질문 난이도의 불일치로 인해 지식과 능력의 경계를 제대로 평가하지 못하여 효과적인 적용 및 최적화를 방해합니다. 이를 해결하기 위해, 본 논문은 LLM 에이전트를 활용하여 다단계 상호작용을 수행하는 동적 평가 방식인 Agent-as-Interviewer를 제안합니다. Agent-as-Interviewer는 에이전트를 사용하여 지식 도구를 호출하여 동적 다단계 질문 생성 시 더욱 광범위하고 심층적인 지식을 활용하고, 질문 난이도 조절을 위한 쿼리 전략을 계획하여 목표 LLM의 실제 능력에 맞는 난이도 제어를 수행합니다. 본 평가 방식을 기반으로, 지식 기반 합성을 에이전트의 도구로 활용하고 난이도 점수를 전략 지침으로 사용하는 지식 기반 동적 평가 프레임워크인 JudgeAgent를 개발했습니다. JudgeAgent는 목표 모델의 개선을 위한 유용한 제안을 제공하며, 실험을 통해 Agent-as-Interviewer가 목표 모델의 지식 및 능력 경계를 정확하게 식별할 수 있음을 입증했습니다.
시사점, 한계점
•
시사점:
◦
LLM의 정확한 지식 및 능력 평가를 위한 새로운 동적 평가 패러다임 제시 (Agent-as-Interviewer).
◦
지식 도구 및 난이도 조절 전략을 활용하여 LLM의 지식 경계를 포괄적으로 평가.
◦
JudgeAgent 프레임워크를 통해 LLM 모델 개선을 위한 실질적인 피드백 제공.
◦
실험을 통해 Agent-as-Interviewer의 유효성 입증.
•
한계점:
◦
제공된 논문 요약 정보만으로는 구체적인 한계점을 파악하기 어려움. (예: JudgeAgent의 성능 제한, 지식 도구의 의존성, 질문 생성 및 난이도 조절 전략의 개선 여지 등)
