Learning from Sufficient Rationales: Analysing the Relationship Between Explanation Faithfulness and Token-level Regularisation Strategies
Created by
Haebom
Category
Empty
저자
Jonathan Kamp, Lisa Beinborn, Antske Fokkens
개요
자연어 모델에 대한 인간의 설명, 즉 근거는 모델이 올바른 이유로 레이블을 학습하는지, 아니면 데이터셋 특정 지름길에 의존하는지 평가하는 도구이다. 근거의 유용성을 평가하기 위해 충분성이 널리 사용되지만, 모델 성능에 대한 근거 정보의 영향을 파악하는 데 한계가 있다. 본 연구는 충분성을 토큰 분류를 통해 근거의 일부인 토큰을 모델이 식별하는 능력과, 어텐션 정규화를 통해 근거를 입력에 통합함으로써 모델 성능을 향상시키는 능력이라는 두 가지 모델링 패러다임과 연결하여 이러한 한계를 해결한다.
시사점, 한계점
•
정보량이 많은 근거는 인스턴스를 올바르게 분류하는 데 도움이 되지 않을 가능성이 높다.
•
충분성은 반대로 근거화되지 않은 컨텍스트의 분류 영향을 파악하며, 이는 동일한 입력에서 근거 정보와 상호 작용한다.
•
모델 입력에 근거 정보를 통합하면 도메인 간 분류를 향상시킬 수 있지만, 작업 및 모델 유형에 따라 결과가 일관되지 않다.
•
충분성과 토큰 분류는 관련이 없는 것으로 보인다.
•
근거의 복잡성을 보여주며, 이 유형의 정보를 체계적으로 포착할 수 있는 지표에 대한 추가 조사가 필요하다.
