본 논문은 인간의 유연한 도구 선택 능력을 모방하는 매개변수 효율적인 해석 가능한 컴퓨터 모델을 제시한다. 저차원 속성 표현을 사용하여 시각적 도구 인식과 언어적 작업 이해를 연결하는 프레임워크를 개발하였다. 물리적, 기능적, 심리적 특성을 포함하는 13개의 속성으로 레이블링된 115개의 일반적인 도구를 포함하는 포괄적인 데이터셋(ToolNet)을 구축하고, 도구 사용을 설명하는 자연어 시나리오와 짝을 이루었다. 시각적 인코더(ResNet 또는 ViT)는 도구 이미지에서 속성을 추출하고, 미세 조정된 언어 모델(GPT-2, LLaMA, DeepSeek)은 작업 설명에서 필요한 속성을 도출한다. 제안된 접근 방식은 도구 선택 작업에서 74%의 정확도를 달성하여 직접 도구 매칭(20%) 및 소규모 다중 모달 모델(21%-58%)을 크게 능가하며, 훨씬 더 많은 매개변수를 가진 GPT-4o(73%)의 성능에 근접한다. 인간 평가 연구는 제안된 프레임워크가 인간의 의사결정 패턴과 일치함을 검증하였고, 일반화 실험은 새로운 도구 범주에 대한 효과적인 성능을 보여준다. 제거 연구는 조작 관련 속성(잡기 쉬움, 신장, 손 관련성)이 모든 모달리티에서 가장 중요함을 보여준다.
