Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Enhancing the Capabilities of Large Language Models for API calls through Knowledge Graphs

Created by
  • Haebom

저자

Ye Yang, Xue Xiao, Ping Yin, Taotao Xie

개요

본 논문은 기상학과 같이 지식 집약적인 분야에서 대규모 언어 모델(LLM)이 API 호출을 통해 데이터 분석을 효과적으로 수행하는 능력을 향상시키기 위해 KG2data 시스템을 제안한다. KG2data는 지식 그래프, LLM, ReAct 에이전트, 툴 사용 기술을 통합하여 지능적인 데이터 획득 및 질의 처리를 가능하게 한다. 가상 API를 사용하여 세 가지 지표(이름 인식 실패, 환각 실패, 호출 정확성)에 걸쳐 API 호출 정확도를 평가한 결과, KG2data는 RAG2data 및 chat2data보다 우수한 성능(1.43%, 0%, 88.57%)을 달성했다. KG2data는 지식 그래프를 지속적인 메모리로 사용하여 도메인 특정 지식에 대한 접근 제한으로 인한 복잡하거나 전문 용어가 많은 질의 처리의 어려움을 해결하며, 콘텐츠 검색, 복잡한 질의 처리, 도메인 특정 추론, 의미 관계 해결 및 이기종 데이터 통합을 향상시킨다. 또한 LLM 미세 조정의 높은 비용을 완화하여 진화하는 도메인 지식 및 API 구조에 대한 시스템의 적응성을 높인다. 결론적으로 KG2data는 지식 요구량이 높은 도메인에서 지능적이고 지식 기반의 질의 응답 및 데이터 분석을 위한 새로운 솔루션을 제공한다.

시사점, 한계점

시사점:
지식 그래프 기반의 LLM-API 상호작용 시스템이 지식 집약적 분야에서 데이터 분석 성능을 향상시킬 수 있음을 보여줌.
KG2data는 기존 LLM 기반 시스템의 도메인 지식 접근 한계를 극복하고, 복잡한 질의 처리 능력을 향상시킴.
LLM 미세 조정 비용을 절감하고, 진화하는 도메인 지식 및 API 구조에 대한 적응성을 높임.
지식 기반 질의 응답 및 데이터 분석을 위한 새로운 솔루션을 제공.
한계점:
가상 API를 사용한 평가는 실제 환경과 차이가 있을 수 있음.
특정 도메인(기상학)에 국한된 평가이므로 일반화 가능성에 대한 추가 연구 필요.
지식 그래프의 질과 완성도가 시스템 성능에 큰 영향을 미칠 수 있음.
다양한 유형의 API와의 호환성 및 확장성에 대한 추가 검증 필요.
👍