Confidence Regularized Masked Language Modeling using Text Length
Created by
Haebom
저자
Seunghyun Ji, Soowon Lee
개요
본 논문은 기존의 Masked Language Modeling(MLM)이 단일 정답만 고려하여 짧은 입력 문장에서 과도한 자신감을 보이는 문제점을 지적하고, 입력 길이에 따라 적응적으로 정규화 강도를 조절하는 새로운 confidence regularizer를 제안합니다. GLUE와 SQuAD 벤치마크 실험 결과, 제안된 방법이 정확도와 예상 보정 오차(expected calibration error)를 모두 향상시키는 것을 보였습니다.
시사점, 한계점
•
시사점:
◦
입력 길이에 따른 적응적 정규화를 통해 MLM의 과신 문제를 완화할 수 있음을 제시.
◦
GLUE 및 SQuAD에서 정확도와 보정 오차 개선 효과를 실험적으로 검증.
◦
짧은 문장 처리 성능 향상에 기여.
•
한계점:
◦
제안된 방법의 효과가 다른 언어 모델이나 데이터셋에 일반화될 수 있는지 추가적인 연구 필요.
◦
confidence regularizer의 최적 파라미터 설정에 대한 추가적인 분석 필요.
