본 논문은 모델 컨텍스트 프로토콜(MCP)을 통해 외부 도구에 접근할 수 있게 된 대규모 언어 모델(LLM)의 취약성을 다룹니다. LLM은 도구 사용 여부를 도구 설명에 전적으로 의존하는데, 이 과정이 매우 취약하다는 것을 보여줍니다. 연구진은 도구 설명에 대한 일련의 편집을 통해, 경쟁 도구보다 특정 도구의 사용률을 극적으로 높일 수 있음을 밝혔습니다. 제어된 실험을 통해 GPT-4.1 및 Qwen-2.5-7B에서 적절히 편집된 도구 설명을 가진 도구의 사용률이 원래 설명을 가진 도구보다 10배 이상 높다는 것을 보여주었습니다. 또한, 서로 다른 도구 설명 편집의 성능과 10개의 다양한 모델에서의 일반화 여부를 평가했습니다. 이러한 현상은 개발자에게 도구 홍보의 강력한 수단을 제공하지만, 에이전트 역할을 하는 LLM이 도구와 리소스를 선택하고 활용하기 위한 더욱 신뢰할 수 있는 기반의 필요성을 강조합니다.
시사점, 한계점
•
시사점:
◦
LLM의 도구 선택 과정의 취약성을 밝힘으로써, LLM 기반 에이전트 시스템의 신뢰성 문제를 제기합니다.
◦
도구 설명 편집을 통해 LLM의 도구 선택을 조작할 수 있다는 사실은 개발자에게 도구 홍보 전략을 수립할 수 있는 새로운 가능성을 제시합니다.
◦
더욱 안전하고 신뢰할 수 있는 도구 선택 메커니즘 개발의 필요성을 강조합니다.
•
한계점:
◦
현재 연구는 특정 LLM과 도구에 국한되어 있으며, 다른 LLM이나 도구에 대한 일반화 가능성은 추가 연구가 필요합니다.
◦
도구 설명 편집의 윤리적 함의에 대한 논의가 부족합니다. 예를 들어, 오해의 소지가 있는 설명을 통해 사용자를 현혹할 가능성에 대한 고려가 필요합니다.
