Can LLMs be Good Graph Judge for Knowledge Graph Construction?
작성자
- Haebom
카테고리
비어 있음
저자
Haoyu Huang, Chong Chen, Zeang Sheng, Yang Li, Wentao Zhang
개요
본 논문은 정보 검색 시스템에서 얻은 비정형 데이터를 기반으로 지식 그래프(KG)를 구축하는 문제를 다룹니다. 기존 방법의 한계점(노이즈, 도메인 특수 문서에서의 부정확한 정보 추출, 환각 현상)을 해결하기 위해, 본 논문에서는 GraphJudge라는 KG 구축 프레임워크를 제안합니다. 이 프레임워크는 엔티티 중심 전략을 통해 문서 내 노이즈를 제거하고, 그래프 판사로 사용될 fine-tuned LLM을 통해 생성된 KG의 품질을 향상시킵니다. 두 개의 일반 텍스트-그래프 쌍 데이터 세트와 하나의 도메인 특정 데이터 세트에 대한 실험을 통해 제안된 방법이 기존 방법보다 뛰어난 성능과 강력한 일반화 능력을 보임을 입증했습니다.
시사점, 한계점
•
시사점:
◦
실세계 데이터의 노이즈와 LLM의 한계를 극복하는 KG 구축 프레임워크 제안
◦
엔티티 중심 전략과 fine-tuned LLM 기반의 그래프 판사 활용
◦
다양한 데이터셋에 대한 실험을 통해 우수한 성능 입증
•
한계점:
◦
구체적인 성능 향상 정도나, 다양한 종류의 노이즈에 대한 강건함에 대한 추가적인 분석 필요
◦
도메인 특수 데이터셋에 대한 성능은 향상되었지만, 특정 도메인에 국한된 문제일 수 있음
◦
LLM의 fine-tuning에 따른 비용 및 자원 소모에 대한 고려 필요
