Sign In

Zero-shot and Few-shot Learning with Instruction-following LLMs for Claim Matching in Automated Fact-checking

Created by
  • Haebom
Category
Empty

저자

Dina Pisarevskaya, Arkaitz Zubiaga

개요

본 논문은 자동 사실 확인 파이프라인에서 동일한 사실 확인으로 해결 가능한 주장들을 묶는 주장 매칭(CM) 작업에 대한 연구를 최초로 수행했습니다. 영(zero-shot) 및 소량(few-shot) 학습 접근 방식을 사용하여 이진 분류 작업으로 CM을 고려하고, GPT-3.5-turbo, Gemini-1.5-flash, Mistral-7B-Instruct, Llama-3-8B-Instruct 등의 지시 따르기 대규모 언어 모델(LLM)과 프롬프트 템플릿을 실험했습니다. 새로운 CM 데이터셋인 ClaimMatch를 제시하며(수락 시 공개), 자연어 추론이나 패러프레이즈 탐지와 같은 유사한 작업을 활용하여 CM 작업을 수행할 수 있음을 발견했습니다. 또한, 다양한 길이의 텍스트에 대해 평가한 CM 파이프라인을 제안했습니다.

시사점, 한계점

시사점:
대규모 언어 모델을 활용하여 주장 매칭 작업을 효과적으로 수행할 수 있음을 보여줌.
자연어 추론이나 패러프레이즈 탐지와 같은 기존 작업을 활용하여 주장 매칭 작업을 개선할 수 있는 가능성 제시.
새로운 주장 매칭 데이터셋 ClaimMatch를 공개하여 후속 연구에 기여.
다양한 길이의 텍스트에 대한 CM 파이프라인 평가를 통해 실용성을 높임.
한계점:
ClaimMatch 데이터셋은 논문 수락 후 공개될 예정이므로, 현재로서는 데이터셋의 품질과 규모에 대한 평가가 불가능함.
사용된 LLM들의 성능 비교 및 분석이 자세히 제시되지 않아, 각 모델의 장단점 및 적용 가능성에 대한 심층적인 이해가 부족함.
다양한 길이의 텍스트에 대한 평가 결과가 구체적으로 제시되지 않아, 파이프라인의 성능 및 한계에 대한 명확한 이해가 어려움.
👍