Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

TextMine: Data, Evaluation Framework and Ontology-guided LLM Pipeline for Humanitarian Mine Action

Created by
  • Haebom

저자

Chenyue Zhou, Gurkan Solmaz, Flavio Cirillo, Kiril Gashteovski, Jonathan Furst

개요

인도적 지뢰 제거 활동(HMA)의 정보 비효율성을 해결하기 위해, HMA 보고서에서 지식 추출을 위한 최초의 데이터 세트, 평가 프레임워크 및 온톨로지 기반 대규모 언어 모델(LLM) 파이프라인인 TextMine을 제안합니다. TextMine은 HMA 보고서를 (주어, 관계, 객체) 트리플 형식으로 구조화하여 도메인별 지식을 생성합니다. 실제 관련성을 위해 캄보디아 지뢰 제거 센터(CMAC)와 협력하여 데이터 세트를 구축했습니다. 또한, 바이어스 인식 평가 프레임워크를 도입하여 참조가 없는 채점으로 위치 편향을 완화합니다. 온톨로지 정렬 프롬프트를 사용한 결과, 기본 모델보다 추출 정확도는 최대 44.2% 향상, 환각은 22.5% 감소, 형식 준수는 20.9% 개선되었습니다.

시사점, 한계점

•
시사점:
◦
HMA 분야의 지식 격차 해소에 기여: TextMine을 통해 HMA 관련 정보의 효율적인 공유 및 활용 가능.
◦
실제 데이터 기반: 캄보디아 지뢰 제거 센터(CMAC)와의 협력을 통해 실제적 가치 확보.
◦
바이어스 인식 평가 프레임워크: 정확하고 신뢰할 수 있는 모델 평가 제공.
◦
온톨로지 기반 LLM 파이프라인: 지식 추출 성능 향상.
◦
공개된 데이터 세트 및 코드: 연구의 재현성 및 활용성 증대.
•
한계점:
◦
구체적인 한계점은 논문 내용을 통해 추가 확인 필요. (제공된 정보 내에서는 확인 불가)
◦
특정 HMA 보고서 및 CMAC와의 협력에 국한된 데이터의 일반화 가능성. (추가 연구 필요)
◦
LLM의 지속적인 발전과 변화에 따른 TextMine의 지속적인 업데이트 필요성.
👍
Made with Slashpage