본 논문은 트랜스포머 표현의 다운스트림 평가로서 가짜 뉴스 탐지를 연구하며, 경량 분류기와 페어링된 인코더 전용 및 디코더 전용 사전 훈련 모델(BERT, GPT-2, Transformer-XL)을 고정된 임베더로 벤치마킹합니다. 풀링 대 패딩, 신경망 헤드 대 선형 헤드를 비교하는 통제된 전처리를 통해, 컨텍스트 기반 자기 주의 인코딩이 일관적으로 효과적으로 전송됨을 보여줍니다. BERT 임베딩은 로지스틱 회귀와 결합하여 LIAR 데이터셋 분할에서 신경망 기반보다 우수한 성능을 보이며, 시퀀스 길이와 집계 분석은 잘림에 대한 견고성과 단순한 최대 또는 평균 풀링의 이점을 보여줍니다. 이 연구는 주의 기반 토큰 인코더를 진실성 작업을 위한 견고하고 아키텍처 중심의 기반으로 자리매김하며, 분류기 복잡성으로부터 트랜스포머의 기여를 분리합니다.
