Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Synergizing LLMs and Knowledge Graphs: A Novel Approach to Software Repository-Related Question Answering

Created by
  • Haebom

저자

Samuel Abedu, SayedHassan Khatoonabadi, Emad Shihab

개요

소프트웨어 개발 과정 이해에 유용한 정보를 담고 있는 소프트웨어 저장소 데이터를 활용하기 위해, 지식 그래프를 LLM 기반 챗봇과 통합하여 저장소 관련 질문에 대한 정확도를 향상시키는 연구. 저장소 데이터로부터 지식 그래프를 구축하고, 이를 LLM과 결합하는 2단계 접근 방식을 사용. 150개의 다양한 난이도의 질문을 5개의 오픈 소스 프로젝트에 대해 평가한 결과, LLM의 추론 능력에 따른 오류가 발생했으나, few-shot chain-of-thought 프롬프팅을 적용하여 정확도를 84%까지 향상시킴. MSRBot 및 GPT-4o-search-preview와 비교하여 더 나은 성능을 보였으며, 사용자 연구에서도 효율성과 유용성을 입증.

시사점, 한계점

시사점:
LLM과 지식 그래프의 결합이 저장소 데이터 접근성을 향상시키는 효과적인 방법임을 입증.
few-shot chain-of-thought 프롬프팅을 통해 LLM의 추론 능력 관련 문제점을 개선.
제안된 방식이 기존 방법(MSRBot, GPT-4o-search-preview)보다 우수한 성능을 보임.
사용자 연구를 통해 제안된 방식의 유용성과 효율성을 확인.
한계점:
초기 결과에서 LLM의 추론 능력에 따라 오류가 발생.
(구체적인 한계점에 대한 추가 정보는 논문 초록에 명시되어 있지 않음)
👍