Zero-Shot Keyphrase Generation: Investigating Specialized Instructions and Multi-Sample Aggregation on Large Language Models
Created by
Haebom
Category
Empty
저자
Jayanth Mohan, Jishnu Ray Chowdhury, Tomas Malik, Cornelia Caragea
개요
본 논문은 대규모 언어 모델(LLM)을 이용한 키프레이즈 생성에 대한 연구를 다룹니다. 기존 연구에서 LLM의 잠재력이 충분히 탐구되지 않은 점을 지적하며, 오픈소스 지시어 튜닝 LLM(Phi-3, Llama-3)과 클로즈드소스 GPT-4o의 제로샷 성능을 중점적으로 분석합니다. 특히, 과제 관련 특수 지시어를 프롬프트에 제공하는 효과와 LLM을 위한 자기일관성 전략의 과제 특화 버전을 제안하고, 기준 모델 대비 성능 향상을 보여줍니다.
시사점, 한계점
•
시사점:
◦
오픈소스 및 클로즈드소스 LLM의 키프레이즈 생성 성능을 체계적으로 비교 분석하여, LLM 기반 키프레이즈 생성의 가능성을 제시합니다.
◦
과제 관련 특수 지시어 및 자기일관성 전략 개선을 통해 LLM의 키프레이즈 생성 성능을 향상시킬 수 있음을 보여줍니다.
◦
제안된 방법론은 향후 LLM 기반 키프레이즈 생성 연구에 중요한 시사점을 제공합니다.
•
한계점:
◦
본 연구는 특정 LLM(Phi-3, Llama-3, GPT-4o)에 국한되어, 다른 LLM에 대한 일반화 가능성은 추가 연구가 필요합니다.
◦
제안된 자기일관성 전략의 과제 특화 버전은 특정 키프레이즈 생성 과제에 최적화되어 있으며, 다른 과제에는 적용이 어려울 수 있습니다.
◦
실제 문서 데이터셋에 대한 성능 평가가 부족하여, 실제 적용 가능성에 대한 추가 검증이 필요합니다.
