Evaluating the Impact of LLM-Assisted Annotation in a Perspectivized Setting: the Case of FrameNet Annotation
Created by
Haebom
Category
Empty
저자
Frederico Belcavello, Ely Matos, Arthur Lorenzi, Lisandra Bonoto, Livia Ruiz, Luiz Fernando Pereira, Victor Herbst, Yulla Navarro, Helen de Andrade Abreu, Livia Dutra, Tiago Timponi Torrent
개요
LLM 기반 애플리케이션이 언어 자원 및 데이터 세트 생성에 활용되고 있지만, 특히 NLP 관점에서 주석 처리된 데이터 세트 생성에 미치는 영향에 대한 포괄적인 평가는 부족합니다. 본 논문은 LLM 기반 의미 역할 레이블러를 사용하여 FrameNet과 유사한 의미 주석 처리의 (반)자동화를 광범위하게 평가하여 이러한 격차를 줄이는 데 기여합니다. 수동, 자동 및 반자동 주석 처리의 세 가지 실험 설정에서 주석 처리 시간, 적용 범위 및 다양성을 비교합니다. 결과는 하이브리드 반자동 주석 처리 설정이 수동 설정에 비해 프레임 다양성이 증가하고 유사한 주석 처리 범위를 보이며, 자동 설정은 주석 처리 시간을 제외한 모든 지표에서 현저히 낮은 성능을 보임을 보여줍니다.
시사점, 한계점
•
시사점:
◦
LLM 기반 반자동 주석 처리는 수동 주석 처리와 비교하여 프레임 다양성 증가 및 유사한 주석 처리 범위를 달성할 수 있습니다.
◦
자동 주석 처리는 주석 처리 시간 측면에서 장점이 있지만, 다른 지표에서는 성능이 저조합니다.
•
한계점:
◦
본 논문은 LLM 기반 의미 역할 레이블러의 성능을 FrameNet과 유사한 주석 처리 작업에 국한하여 평가합니다.
