본 논문은 인간과 다른 종을 구분하는 복잡한 인지 능력인 유연한 도구 선택 능력을 포착하는 계산 모델을 개발하는 것을 목표로 합니다. 저차원 속성 표현을 사용하는 프레임워크를 개발하여 시각적 도구 인식과 언어적 작업 이해를 연결합니다. 물리적, 기능적, 심리적 특성을 포함하는 13개의 속성으로 레이블이 지정된 115개의 일반적인 도구를 포함하는 포괄적인 데이터셋(ToolNet)을 구성하고, 도구 사용을 설명하는 자연어 시나리오와 짝을 이루었습니다. 시각적 인코더(ResNet 또는 ViT)는 도구 이미지에서 속성을 추출하고, 미세 조정된 언어 모델(GPT-2, LLaMA, DeepSeek)은 작업 설명에서 필요한 속성을 파생합니다. 제안된 접근 방식은 도구 선택 작업에서 74%의 정확도를 달성하여 직접 도구 매칭(20%) 및 소규모 다중 모달 모델(21%-58%)을 크게 능가하며, GPT-4o(73%)와 같은 훨씬 더 큰 모델의 성능에 근접하지만 파라미터 수는 훨씬 적습니다. 절제 연구를 통해 조작 관련 속성(파지 가능성, 손 관련성, 신장)이 모달리티 전반에 걸쳐 가장 중요하다는 것을 밝혔습니다. 이 연구는 인간과 유사한 도구 인지를 모방하는 매개변수 효율적이고 해석 가능한 솔루션을 제공하여 인지 과학적 이해와 도구 선택 작업의 실용적 응용 모두를 발전시킵니다.
