SemEval-2025 Task 5: LLMs4Subjects -- LLM-based Automated Subject Tagging for a National Technical Library's Open-Access Catalog
Created by
Haebom
저자
Jennifer D'Souza, Sameer Sadruddin, Holger Israel, Mathias Begoin, Diana Slawig
개요
SemEval-2025 Task 5: LLMs4Subjects는 영어와 독일어로 된 과학 및 기술 자료에 대한 자동 주제 태깅에 관한 공유 과제입니다. GND 분류 체계를 사용하며, 참가자들은 LLM 기반 시스템을 개발하여 상위 k개의 주제를 추천하고, 정량적 지표(정밀도, 재현율, F1 점수)와 주제 전문가의 질적 평가를 통해 평가했습니다. 결과는 LLM 앙상블, 합성 데이터 생성 및 다국어 처리의 효과를 보여주며, 디지털 라이브러리 분류에 LLM을 적용하는 데 대한 통찰력을 제공합니다.
시사점, 한계점
•
시사점:
◦
LLM 앙상블, 합성 데이터 생성, 다국어 처리 기법이 과학 및 기술 자료의 자동 주제 태깅에 효과적임을 보여줌.
◦
디지털 라이브러리 분류에 LLM을 적용하는 새로운 방법 제시.
◦
정량적 및 질적 평가를 통해 LLM 기반 시스템의 성능을 객관적으로 평가.
•
한계점:
◦
본 논문에서는 구체적인 한계점이 언급되지 않음. 추가적인 연구를 통해 시스템의 성능 향상 및 한계점 규명 필요.
◦
GND 분류 체계에 대한 의존성이 높아 다른 분류 체계로의 일반화 가능성에 대한 검토 필요.
