Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

TextMine: LLM-Powered Knowledge Extraction for Humanitarian Mine Action

Created by
  • Haebom

저자

Chenyue Zhou, Gurkan Solmaz, Flavio Cirillo, Kiril Gashteovski, Jonathan Furst

개요

본 논문은 인도주의 지뢰 제거 활동(HMA) 관련 방대한 최선의 관행 지식이 비정형 보고서에 갇혀 있는 문제를 해결하기 위해, 대규모 언어 모델(LLM)을 활용한 지식 추출 파이프라인인 TextMine을 제시한다. TextMine은 문서 분할, 도메인 인식 프롬프트, 트리플 추출, 참조 기반 및 LLM 기반 평가를 통합하며, 최초의 HMA 온톨로지와 실제 지뢰 제거 보고서로 구성된 정제된 데이터셋을 함께 제공한다. 실험 결과, 온톨로지 정렬 프롬프트는 기준선 대비 추출 정확도를 44.2% 향상시키고, 환각을 22.5% 감소시키며, 형식 준수를 20.9% 개선하는 것으로 나타났다. 캄보디아 보고서를 기반으로 검증되었지만, TextMine은 전 세계 지뢰 제거 활동이나 다른 도메인에도 적용 가능하여 비정형 데이터를 구조화된 지식으로 변환할 수 있다.

시사점, 한계점

시사점:
대규모 언어 모델을 활용하여 비정형 보고서에서 지식을 효과적으로 추출하는 새로운 방법 제시
HMA 분야의 지식 관리 및 활용 향상에 기여
온톨로지 기반 프롬프트 활용으로 지식 추출 정확도 및 신뢰성 향상
전 세계 지뢰 제거 활동 및 다른 도메인으로의 확장 가능성
한계점:
현재는 캄보디아 보고서를 기반으로 검증되었으므로, 다른 지역 또는 언어의 보고서에 대한 일반화 가능성에 대한 추가 연구 필요
LLM의 한계로 인한 환각 및 오류 발생 가능성 존재
온톨로지의 지속적인 관리 및 업데이트 필요
👍