Estimating Commonsense Plausibility through Semantic Shifts

Created by

Haebom

저자

Wanqing Cui, Wei Huang, Keping Bi, Jiafeng Guo, Xueqi Cheng

💡 개요

기존 언어 모델(LM) 평가 방식은 미묘한 차이를 구분하는 데 어려움이 있었습니다. 본 논문은 문장에 상식 관련 정보를 추가했을 때 발생하는 의미론적 변화를 측정하여 상식적 타당성을 판단하는 새로운 판별적 프레임워크인 ComPaSS를 제안합니다. ComPaSS는 타당한 문장은 의미 변화를 최소화하고, 타당하지 않은 문장은 상당한 변화를 유발한다는 점을 이용합니다.

🔑 시사점 및 한계

•

ComPaSS는 LLM 및 VLM을 포함한 다양한 모델에서 기존 생성 모델 기반 평가 방식을 능가하는 뛰어난 성능을 보이며, 미묘한 상식적 타당성 평가에 판별적 접근 방식이 효과적임을 입증합니다.

•

비전-이해 모델(VLM)은 시각 정보 기반 상식 과제에서 언어 모델(LM)보다 ComPaSS 통합 시 더 우수한 성능을 보이며, 대조 학습 사전 훈련은 모델이 의미적 뉘앙스를 더 잘 포착하도록 하여 ComPaSS의 성능을 더욱 향상시킵니다.

•

논문에서 제시된 방법론은 현재까지 상식적 타당성 평가를 위한 판별적 프레임워크로서의 가능성을 보여주었으나, 실제 적용 시 다양한 도메인 및 문화적 맥락에서의 일반화 가능성에 대한 추가적인 연구가 필요할 수 있습니다.

PDF 보기

Made with Slashpage