Sign In

Zero-shot data citation function classification using transformer-based large language models (LLMs)

Created by
  • Haebom
Category
Empty

저자

Neil Byers, Ali Zaidi, Valerie Skye, Chris Beecroft, Kjiersten Fagnan

개요

본 논문은 특정 데이터셋과 이를 활용한 과학 문헌 간의 연관성을 파악하는 연구의 일환으로, 사전 훈련된 변환기 기반 대규모 언어 모델(LLM)을 사용하여 출판된 문헌에서 데이터 사용 사례를 설명하는 방법을 제시한다. 특히, 오픈 소스 LLM인 Llama 3.1-405B를 활용하여 특정 유전체 데이터셋을 포함하는 간행물에 대한 구조화된 데이터 사용 사례 레이블을 생성하고, 효율성을 평가하기 위한 새로운 프레임워크를 도입했다. 결과적으로, 모델은 사전 정의된 범주 없이 제로샷 데이터 인용 분류 작업에서 F1 점수 0.674를 달성했다.

시사점, 한계점

LLM을 활용하여 데이터 사용 사례를 자동으로 식별하고 구조화하여, 수동 레이블링 및 기존 기계 학습 시스템의 학습 데이터셋 개발에 대한 비용을 절감할 수 있는 가능성을 제시한다.
제로샷 학습으로도 준수한 성능을 보이며, 다양한 데이터셋과 문헌에 적용될 수 있는 잠재력을 보여준다.
데이터 가용성, 프롬프트 과적합, 컴퓨팅 인프라, 책임 있는 성능 평가에 필요한 비용 등과 관련된 제약 사항이 존재한다.
👍