Prompt Selection Matters: Enhancing Text Annotations for Social Sciences with Large Language Models
Created by
Haebom
Category
Empty
저자
Louis Abraham, Charles Arnal, Antoine Marie
개요
본 논문은 대규모 언어 모델(LLM)을 사회과학 분야의 텍스트 주석 작업에 적용하여 인간 작업자의 성능에 필적하거나 능가하는 결과를 저렴한 비용으로 달성할 수 있음을 보여줍니다. 하지만, 프롬프트 선택이 라벨링 정확도에 미치는 영향에 대한 연구는 아직 부족했습니다. 이 연구는 프롬프트에 따라 성능이 크게 달라짐을 보이고, 자동 프롬프트 최적화 방법을 적용하여 체계적으로 고품질 프롬프트를 생성하는 방법을 제시합니다. 또한, 해당 방법을 간단하게 사용할 수 있는 브라우저 기반 구현체(https://prompt-ultra.github.io/)를 공개합니다.
시사점, 한계점
•
시사점:
◦
LLM을 활용한 사회과학 텍스트 주석 작업의 효율성 및 정확도 향상 가능성 제시.
◦
프롬프트 최적화 방법을 통해 LLM 성능을 극대화할 수 있는 실질적인 전략 제공.
◦
사용자 친화적인 브라우저 기반 프롬프트 최적화 도구 공개를 통한 연구 확산 및 접근성 향상.
