Enhancing Hyperspace Analogue to Language (HAL) Representations via Attention-Based Pooling for Text Classification

Created by

Haebom

저자

Ali Sakour, Zoalfekar Sakour

💡 개요

본 논문은 기존 Hyperspace Analogue to Language (HAL) 모델이 문장 임베딩 생성 시 평균 풀링으로 인해 발생하는 정보 손실 문제를 해결하고자 합니다. 이를 위해 HAL 표현 파이프라인에 학습 가능한 텐퍼처-스케일드 가산 어텐션 메커니즘을 도입하고, 고차원 희소 행렬 문제 완화를 위해 Truncated SVD를 적용했습니다. 제안된 방법은 IMDB 감성 분석 데이터셋에서 82.38%의 정확도를 달성하여 기존 평균 풀링 방식 대비 6.74%p의 성능 향상을 보였습니다.

🔑 시사점 및 한계

•

HAL 모델의 문장 임베딩 생성 시 평균 풀링의 한계를 극복하고 정보 손실을 줄이는 효과적인 어텐션 기반 풀링 기법을 제시했습니다.

•

어텐션 가중치 분석을 통해 불용어는 억제하고 감성 관련 단어에 선택적으로 집중함으로써 분류 성능 향상 및 모델 해석 가능성을 높였습니다.

•

제안된 모델의 성능은 IMDB 감성 분석 데이터셋에서 검증되었으며, 다른 텍스트 분류 작업이나 더 복잡한 언어 모델과의 통합을 통한 추가적인 검증이 필요합니다.

PDF 보기

Made with Slashpage