본 논문은 대규모 언어 모델(LLM) 에이전트의 도구 과다 사용 문제를 해결하기 위해, 인간의 메타인지에서 영감을 받은 SMART(Strategic Model-Aware Reasoning with Tools) 패러다임을 제시한다. SMART 패러다임은 에이전트의 자기 인식 능력을 향상시켜 작업 처리를 최적화하고 도구 과다 사용을 줄이는 것을 목표로 한다. 이를 위해, 매개변수 지식과 도구 기반 단계를 번갈아 사용하는 세 가지 영역을 포함하는 SMART-ER 데이터셋을 구축하고, 도구 사용의 필요성을 설명하는 근거를 각 단계에 추가했다. 감독 학습을 통해 개발된 SMARTAgent는 매개변수 지식과 도구 사용 간의 균형을 동적으로 조절한다. 실험 결과, SMARTAgent는 도구 사용을 24% 줄이면서 성능을 37% 이상 향상시켰고, 70B 모델과 동등한 성능을 7B 모델에서 달성하며 GPT-4o를 능가하는 결과를 보였다. 또한, GSM8K 및 MINTQA와 같은 분포 외 테스트 데이터에서도 도구 호출 횟수를 5분의 1로 줄이면서 정확도를 유지하는 일반화 능력을 보였다. 이는 전략적인 도구 사용이 추론 향상, 과다 사용 완화, 모델 크기와 성능 간의 격차 해소에 기여하여 지능적이고 자원 효율적인 에이전트 설계를 발전시킬 수 있음을 시사한다.
