Ontology Generation using Large Language Models
Created by
- Haebom
Category
Empty
저자
Anna Sofia Lippolis, Mohammad Javad Saeedizade, Robin Keskisarkka, Sara Zuppiroli, Miguel Ceriani, Aldo Gangemi, Eva Blomqvist, Andrea Giovanni Nuzzolese
개요
본 논문은 대규모 언어 모델(LLM)을 활용하여 사용자 스토리와 역량 질문(CQ)으로 설명된 온톨로지 요구사항으로부터 직접 OWL 온톨로지 초안을 생성하는 방법을 연구합니다. 두 가지 새로운 프롬프팅 기법인 Memoryless CQbyCQ와 Ontogenia를 제시하고 평가하며, 온톨로지 평가를 위한 세 가지 구조적 기준과 전문가의 질적 평가의 중요성을 강조합니다. 10개의 온톨로지, 100개의 CQ, 29개의 사용자 스토리를 포함하는 벤치마크 데이터셋을 사용하여 세 가지 LLM의 성능을 비교 분석했습니다. OpenAI o1-preview 모델과 Ontogenia 기법의 조합이 온톨로지 엔지니어의 요구사항을 충족하는 수준의 온톨로지를 생성하며, 초보 온톨로지 엔지니어보다 훨씬 우수한 모델링 능력을 보여줍니다. 하지만 여전히 일부 오류와 결과 품질의 변동성이 존재하며, LLM을 온톨로지 작성 지원에 활용할 때 고려해야 할 사항임을 지적합니다.
시사점, 한계점
•
시사점:
◦
LLM을 활용한 자동화된 온톨로지 개발의 가능성을 제시하고, 기존 방식보다 향상된 성능을 보이는 새로운 프롬프팅 기법을 제안했습니다.
◦
OpenAI o1-preview 모델과 Ontogenia 기법의 조합이 온톨로지 엔지니어의 요구사항을 충족하는 수준의 온톨로지를 생성하는 것을 확인했습니다.
◦
LLM 기반 온톨로지 엔지니어링의 효율성 향상 가능성을 보여주었습니다.
◦
온톨로지 평가를 위한 다차원적 평가의 중요성을 강조했습니다.
•
한계점:
◦
LLM을 이용한 온톨로지 생성 과정에서 여전히 일부 오류와 결과 품질의 변동성이 존재합니다.
◦
생성된 온톨로지의 품질 향상을 위한 추가 연구가 필요합니다.
