대규모 언어 모델(LLM)이 외부 인터페이스와의 상호 작용 능력이 향상됨에 따라, 적절한 외부 인터페이스 선택이 LLM 에이전트 구축의 핵심 단계가 되었습니다. 본 논문은 API 도구 호출과 달리, HuggingFace와 같은 커뮤니티에서 제공하는 다양한 모달리티의 AI 모델을 직접 호출하는 데 따르는 문제점(대규모 모델, 메타데이터 부족, 비정형 설명)을 해결하기 위해, 추론(Reasoning), 검색(Retrieval), 개선(Refinement), 반성(Reflection)을 결합한 새로운 프레임워크인 HuggingR$^4$를 제안합니다. 이 프레임워크는 사용자의 질의를 처리하는 과정과 복잡한 모델 설명을 처리하는 과정을 분리하여 토큰 소비를 줄입니다. 또한, 사전 구축된 벡터 데이터베이스를 사용하여 복잡한 모델 설명을 외부 저장하고 필요에 따라 검색함으로써 프롬프트 팽창 없이 관련 후보 모델에만 접근하도록 합니다. 37개의 작업에 걸쳐 14,399개의 사용자 요청으로 구성된 멀티모달 데이터셋을 구축하여 평가한 결과, HuggingR$^4$는 GPT-4o-mini에서 기존 방법보다 높은 92.03%의 작업 가능률과 82.46%의 합리성 비율을 달성했습니다.
