본 논문은 대규모 언어 모델(LLM)에 외부 도구를 통합하는 기존 연구들이 사용자 지시에 따른 도구 선택에만 초점을 맞춰, 맥락 인식적 개인화된 도구 선택을 간과하고 있다는 점을 지적합니다. 이러한 간과는 특히 중복되는 도구 집합을 맥락에 따라 선택해야 하는 경우 사용자 만족도 저하와 비효율적인 도구 활용으로 이어집니다. 이를 해결하기 위해, 본 논문은 개인화된 도구 활용 능력을 평가하기 위한 벤치마크인 ToolSpectrum을 제시합니다. ToolSpectrum은 사용자 프로필과 환경 요소라는 두 가지 개인화 차원을 공식화하고, 이들의 개별적 및 상승적 영향을 분석합니다. 실험 결과, 개인화된 도구 활용은 다양한 시나리오에서 사용자 경험을 크게 향상시키지만, 최첨단 LLM조차도 사용자 프로필과 환경 요소를 함께 고려하는 능력이 제한적이며, 한쪽 차원을 다른 쪽보다 우선시하는 경향을 보임을 보여줍니다. 따라서 맥락 인식적 개인화가 도구 증강형 LLM에 필수적임을 강조하고, 현재 모델의 중요한 한계점을 밝힙니다. 데이터와 코드는 https://github.com/Chengziha0/ToolSpectrum 에서 제공됩니다.
