Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Evaluating Financial Sentiment Analysis with Annotators Instruction Assisted Prompting: Enhancing Contextual Interpretation and Stock Prediction Accuracy

Created by
  • Haebom

저자

A M Muntasir Rahman, Ajim Uddin, Guiling "Grace" Wang

개요

본 논문은 금융 감정 분석(FSA)에서 대규모 언어 모델(LLM)의 성능 저하 문제를 해결하기 위해, 어노테이터의 지침을 활용한 새로운 평가 프롬프트인 AIAP(Annotators' Instruction Assisted Prompt)를 제시합니다. 기존 금융 감정 분석 벤치마크 데이터셋의 주관적인 감정 분류 및 어노테이션의 변동성 문제를 해결하기 위해, 어노테이터의 지침을 LLM 프롬프트에 통합하여 인간과 기계의 감정 해석을 표준화하는 것을 목표로 합니다. WallStreetBets subreddit에서 추출한 새로운 데이터셋 WSBS를 사용하여 AIAP가 LLM의 성능을 향상시키는 것을 실험적으로 증명하고, 모델의 신뢰도 점수를 활용한 새로운 감정 색인 방법을 제시하여 주가 예측 모델을 개선합니다.

시사점, 한계점

•
시사점:
◦
AIAP를 통해 LLM의 금융 감정 분석 성능을 최대 9.08%까지 향상시킬 수 있음을 보여줌.
◦
어노테이터의 지침을 활용한 새로운 프롬프트 디자인은 LLM의 금융 감정 분석 과제 정의를 재정립하고, 인간과 기계 간의 감정 해석 표준화에 기여함.
◦
모델 신뢰도 점수를 활용한 새로운 감정 색인 방법은 주가 예측 모델의 성능 향상에 기여함.
◦
WallStreetBets와 같은 온라인 커뮤니티의 데이터를 활용하여 금융 텍스트 분석의 가치를 높임.
◦
더 나은 평가 방법을 통해 FSA를 개선하는 방법에 대한 통찰력 제공.
•
한계점:
◦
WSBS 데이터셋의 특징(WallStreetBets subreddit 데이터)이 다른 금융 데이터에 일반화될 수 있는지에 대한 추가 연구가 필요함.
◦
AIAP의 성능 향상이 특정 LLM이나 데이터셋에 국한될 가능성이 있음. 다양한 LLM과 데이터셋에 대한 추가 실험이 필요함.
◦
모델 신뢰도 점수를 활용한 감정 색인 방법의 일반화 가능성 및 견고성에 대한 추가적인 검증이 필요함.
👍
Made with Slashpage