본 논문은 대규모 언어 모델(LLM)의 도구 학습 능력을 평가하기 위한 새로운 벤치마크인 FamilyTool을 제시합니다. FamilyTool은 가족 기반 지식 그래프(KG)를 기반으로 하며, 다중 홉 추론과 동적인 환경에서의 유도적 지식 적응을 필요로 하는 개인화된 시나리오를 시뮬레이션합니다. 기존 벤치마크의 한계를 극복하기 위해, 1~3개의 관계적 홉을 포함하는 질의를 사용하여 LLM의 도구 사용 능력을 평가하고, 새로운 사용자 선호도와 관계에 대한 재훈련 없이 모델의 적응 능력을 평가합니다. KGETool이라는 KG 기반 평가 파이프라인을 제안하며, 실험 결과 최첨단 LLM에서도 홉의 복잡성이 증가하고 유도적 시나리오가 도입됨에 따라 정확도가 급격히 감소하는 것을 보여줍니다. 이는 현존 LLM의 개인화되고 진화하는 실제 환경 처리 능력의 한계를 강조하며, 도구 학습 프레임워크의 발전 필요성을 시사합니다. FamilyTool은 복잡하고 동적인 환경에서 LLM 에이전트의 추론, 적응성 및 확장성을 평가하고 발전시키는 데 중요한 자원으로 활용될 수 있습니다. 코드와 데이터셋은 Github에서 공개됩니다.
시사점, 한계점
•
시사점:
◦
개인화되고 다중 홉 추론이 필요한 실제 시나리오를 반영하는 새로운 벤치마크 FamilyTool 제시
◦
기존 LLM의 개인화된, 동적인 환경에서의 제한점을 명확히 밝힘
◦
유도적 지식 적응 능력 평가를 위한 새로운 평가 방법론 제시
◦
LLM의 도구 학습 능력 향상을 위한 연구 방향 제시
•
한계점:
◦
FamilyTool 벤치마크가 가족 관계라는 특정 도메인에 국한됨. 다른 도메인으로의 일반화 가능성에 대한 추가 연구 필요
◦
KGETool 평가 파이프라인의 일반성에 대한 추가 검증 필요
◦
실제 세계의 복잡성을 완벽하게 반영하지 못할 수 있음. 더욱 현실적인 시나리오 추가 연구 필요
