Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

VSPO: Validating Semantic Pitfalls in Ontology via LLM-Based CQ Generation

Created by
  • Haebom
Category
Empty

저자

Hyojun Choi, Seokju Hwang, Kyong-Ho Lee

개요

본 논문은 온톨로지 설계 검증을 위한 Competency Questions (CQs) 생성 과정의 자동화를 위해, 특히 "Misusing allValuesFrom"과 같은 의미론적 함정을 검증하는 CQ를 생성하는 새로운 데이터셋 및 모델(VSPO)을 제안한다. 기존 연구와 달리, 의미론적 함정을 검증하는 데 초점을 맞추어, LLM을 사용하여 클래스 및 속성 정의를 생성하고, axiom을 제거하거나 논리 연산자를 변경하여 정의와 온톨로지 간의 불일치를 시뮬레이션한다. LLaMA-3.1-8B-Instruct를 미세 조정하여 이러한 불일치를 검증하는 CQs를 생성하도록 학습시켰으며, 기존 데이터셋보다 광범위한 모델링 오류를 감지할 수 있다. 제안하는 모델은 GPT-4.1보다 정밀도에서 26%, 재현율에서 28.2% 더 높은 성능을 보였다.

시사점, 한계점

온톨로지 설계 검증을 위한 CQ 생성 자동화 연구의 발전: LLM을 활용하여 수동적인 CQ 제작의 시간적, 비용적 부담을 줄임.
의미론적 함정(semantic pitfalls) 검증에 특화된 CQ 생성: 기존 연구가 다루지 못한 "Misusing allValuesFrom"과 같은 오류를 탐지하는 CQs 생성 가능.
VSPO 데이터셋 및 모델 개발: 의미론적 불일치 시뮬레이션을 통해 더 정확한 CQ 생성 가능.
LLaMA-3.1-8B-Instruct 모델의 미세 조정을 통한 성능 향상: GPT-4.1보다 우수한 성능을 보임.
온톨로지와 전문가 지식 간의 의미론적 정렬 개선.
한계점: 구체적인 한계점은 논문에 명시되지 않음. 추가 연구 및 개선이 필요할 수 있음.
👍