Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

DiCoRe: Enhancing Zero-shot Event Detection via Divergent-Convergent LLM Reasoning

Created by
  • Haebom

저자

Tanmay Parekh, Kartik Mehta, Ninareh Mehrabi, Kai-Wei Chang, Nanyun Peng

개요

본 논문은 전문 영역 문서 이해에 중요한 제로샷 이벤트 감지(Zero-shot Event Detection, ED) 문제를 해결하기 위해 DiCoRe라는 새로운 프레임워크를 제안한다. DiCoRe는 이벤트 온톨로지의 복잡성, 도메인 특정 트리거 추출, 적절한 구조화 등의 어려움을 극복하기 위해 Dreamer와 Grounder라는 두 가지 모듈을 활용하는 발산-수렴 추론 방식을 채택한다. Dreamer는 개방형 이벤트 발견을 통해 발산적 추론을 장려하여 이벤트 범위를 확장하고, Grounder는 유한 상태 기계 기반 제약 디코딩을 사용하여 자유 형식 예측을 특정 작업 지침과 정렬하여 수렴적 추론을 수행한다. 마지막으로 LLM-Judge가 최종 출력의 정확도를 검증한다. 여섯 개의 데이터셋과 다섯 개의 도메인, 아홉 개의 LLM에 대한 광범위한 실험을 통해 DiCoRe가 기존의 제로샷, 전이 학습 및 추론 기반 방법들을 능가하며, 최고 기준 모델 대비 평균 F1 점수를 4-7% 향상시킨다는 것을 보여준다.

시사점, 한계점

시사점:
제로샷 이벤트 감지 분야에서 기존 방법들을 능가하는 새로운 프레임워크 DiCoRe 제시.
발산-수렴 추론 방식을 통해 이벤트 범위와 정확도를 향상시킬 수 있음을 증명.
다양한 도메인과 LLM에 대한 실험을 통해 DiCoRe의 일반화 성능 검증.
한계점:
LLM-Judge의 성능에 의존하는 부분이 존재하여, LLM-Judge의 성능 저하가 전체 시스템 성능에 영향을 미칠 수 있음.
다양한 도메인에 대한 실험은 진행되었으나, 특정 도메인에 대한 성능 저하 가능성 존재. 추가적인 도메인별 분석이 필요할 수 있음.
제안된 프레임워크의 계산 비용 및 효율성에 대한 추가적인 분석이 필요함.
👍