Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Dynamic Adaptive Optimization for Effective Sentiment Analysis Fine-Tuning on Large Language Models

Created by
  • Haebom

저자

Hongcheng Ding, Xuanze Zhao, Ruiting Deng, Shamsul Nahar Abdullah, Deshinta Arrova Dewi, Zixiao Jiang

개요

본 논문은 다양한 작업의 복잡성을 동시에 처리하는 다중 작업 학습을 활용하는 감정 분석을 위한 대규모 언어 모델(LLM)의 성능 저하 문제를 해결하기 위해, 동적 적응형 최적화(DAO) 모듈을 갖춘 새로운 다중 작업 학습 프레임워크를 제안한다. DAO 모듈의 핵심 구성 요소인 동적 적응형 손실 함수는 학습 중에 각 작업의 상대적 중요도와 데이터 특성에 따라 작업에 할당되는 가중치를 동적으로 조정한다. 표준 및 맞춤형 금융 텍스트 데이터 세트에 대한 감정 분석 결과, 제안된 프레임워크는 이전 연구보다 MSE를 15.58%, ACC를 1.24% 향상시키는 우수한 성능을 달성함을 보여준다.

시사점, 한계점

시사점:
다중 작업 학습에서 동적 가중치 조정의 효과를 입증.
기존 모델에 쉽게 통합 가능한 플러그 앤 플레이 방식의 DAO 모듈 제시.
금융 감정 분석에서 성능 향상을 실험적으로 검증.
한계점:
제안된 방법의 일반성 및 다양한 작업 유형에 대한 적용 가능성에 대한 추가 연구 필요.
사용된 데이터셋의 특성에 따른 성능 제약 가능성.
다른 다중 작업 학습 방법과의 더욱 포괄적인 비교 분석 필요.
👍