Large Language Models Are Effective Human Annotation Assistants, But Not Good Independent Annotators

Created by

Haebom

저자

Feng Gu, Zongxia Li, Carlos Rafael Colon, Benjamin Evans, Ishani Mondal, Jordan Lee Boyd-Graber

💡 개요

본 연구는 이벤트 주석 작업에서 대규모 언어 모델(LLM)의 활용 가능성을 탐구하며, LLM이 독립적인 주석가로서의 신뢰도는 낮지만 인간 전문가의 보조 도구로서 매우 효과적임을 입증합니다. LLM은 불필요한 문서를 제거하고 동일한 이벤트에 대한 문서를 병합하는 등 전체 워크플로우를 개선하는 데 기여하며, 특히 인간 전문가의 변수 주석 작업 시간을 단축하고 인지적 노력을 줄이는 데 효과적입니다. LLM을 활용한 이벤트 변수 추출은 완전 자동화된 LLM 주석보다 인간 전문가와의 일치도가 더 높게 나타났습니다.

🔑 시사점 및 한계

•

LLM은 독립적인 자동 주석가로서의 한계가 명확하지만, 인간 전문가의 업무 효율성을 크게 향상시키는 보조 도구로써의 가치가 높습니다.

•

이벤트 주석 작업의 전반적인 워크플로우 개선, 특히 문서 필터링 및 통합 과정에서 LLM이 유용하게 활용될 수 있습니다.

•

완전 자동화된 LLM 기반 이벤트 주석은 여전히 신뢰도가 낮으므로, 인간 전문가의 검토 및 수정 과정이 필수적입니다.

•

향후 연구에서는 LLM의 독립적인 주석 성능을 향상시키거나, 인간 전문가와의 상호 작용을 더욱 강화하여 오류를 최소화하는 방안을 모색할 필요가 있습니다.

PDF 보기

Made with Slashpage