본 논문은 인간의 유연한 도구 선택 능력을 모방하는 매개변수 효율적인 계산 모델을 제시합니다. 저차원 속성 표현을 사용하여 시각적 도구 인식과 언어적 작업 이해를 연결하는 프레임워크를 개발했습니다. 115개의 일반적인 도구를 물리적, 기능적, 심리적 속성을 포함하는 13개의 속성으로 라벨링하고, 도구 사용을 설명하는 자연어 시나리오와 짝지은 포괄적인 데이터 세트(ToolNet)를 구성했습니다. 시각적 인코더(ResNet 또는 ViT)는 도구 이미지에서 속성을 추출하고, 미세 조정된 언어 모델(GPT-2, LLaMA, DeepSeek)은 작업 설명에서 필요한 속성을 도출합니다. 제안된 접근 방식은 도구 선택 작업에서 74%의 정확도를 달성하여 직접 도구 매칭(20%) 및 소규모 다중 모달 모델(21%-58%)을 크게 능가하며, 훨씬 더 많은 매개변수를 가진 GPT-4o(73%)의 성능에 근접합니다. 추가 분석 결과, 조작 관련 속성(파지 가능성, 손 관련성, 신장)이 모든 모달리티에서 가장 중요한 것으로 나타났습니다. 본 연구는 인간과 같은 도구 인지 능력을 모방하는 매개변수 효율적이고 해석 가능한 솔루션을 제공하여 인지 과학적 이해와 도구 선택 작업의 실용적 응용 모두를 발전시킵니다.
