Fine-tuning BERT with Bidirectional LSTM for Fine-grained Movie Reviews Sentiment Analysis
Created by
- Haebom
Category
Empty
저자
Gibson Nkhata, Susan Gauch, Usman Anjum, Justin Zhan
개요
본 논문은 영화 리뷰에 대한 이진 감정 분류와 세분화된 감정 분류를 향상시키기 위해 사전 훈련된 BERT 모델과 양방향 LSTM(BiLSTM)을 미세 조정하는 방법을 제시합니다. 각 리뷰에 대한 감정 분류를 수행한 후 모든 리뷰에 걸쳐 전체 감정 극성을 계산합니다. 벤치마크 데이터셋을 사용하여 이진 분류와 세분화된 분류에 대한 결과를 제시하며, SMOTE와 NLPAUG라는 두 가지 정확도 향상 기법을 구현하고 평가하여 세분화된 감정 분류에서 모델의 일반화 성능을 높입니다. 마지막으로, 휴리스틱 알고리즘을 사용하여 BERT+BiLSTM 출력 벡터에서 예측된 리뷰의 전체 극성을 계산합니다. 제안된 방법은 최첨단(SOTA) 기법과 비교 가능한 성능을 보이며, 이진 분류에서는 IMDb 데이터셋에서 97.67%의 정확도를 달성하여 SOTA 모델인 NB-weighted-BON+dv-cosine을 0.27% 상회하고, SST-5 데이터셋의 5등급 분류에서는 59.48%의 정확도를 달성하여 BERT-large 기준 모델을 3.6% 상회합니다.
시사점, 한계점
•
시사점:
◦
BERT와 BiLSTM을 결합하여 영화 리뷰의 이진 및 세분화된 감정 분류 성능 향상.
◦
SMOTE와 NLPAUG 기법을 활용하여 세분화된 감정 분류의 일반화 성능 향상.
◦
휴리스틱 알고리즘을 통해 전체 리뷰의 감정 극성 계산 가능.
◦
SOTA 모델을 능가하는 성능 달성.
•
한계점:
◦
제시된 방법이 영화 리뷰 데이터셋에 특화되어 다른 도메인으로의 일반화 가능성에 대한 추가 연구 필요.
◦
사용된 휴리스틱 알고리즘의 세부적인 설명 부족.
◦
다양한 하이퍼파라미터 튜닝에 대한 자세한 설명 부족.
◦
모델의 해석 가능성에 대한 추가 연구 필요.
