Probing Routing-Conditional Calibration in Attention-Residual Transformers

작성자

Haebom

카테고리

Empty

저자

Wenhao Liang, Lin Yue, Wei Emma Zhang, Miao Xu, Mingyu Guo, Olaf Maennel, Weitong Chen

💡 개요

본 연구는 라우팅 정보가 통합된 트랜스포머 모델의 사후 보정(post-hoc calibration)에서 라우팅 흔적이 단순히 신뢰도(confidence)만 사용하는 것보다 안정적인 증거를 제공하는지를 탐구합니다. Attention-Residual(AR) 트랜스포머 모델을 대상으로 라우팅 상태별로 예제를 분류하고, 신뢰도와 라우팅 정보(라우팅 깊이 분산)를 결합한 2차원 Nadaraya-Watson 보정 기법을 평가했습니다. 결과적으로, 단순한 라우팅 요약 정보는 안정적인 라우팅 조건부 보정 불량 증거를 제공하지 못하며, 제안된 AR-CondCal 기법도 기존 신뢰도 기반 기법이나 예측 엔트로피 제어보다 개선되지 않았습니다.

🔑 시사점 및 한계

•

라우팅 증강 아키텍처에서 라우팅 흔적이 사후 보정 성능 향상에 항상 유의미한 기여를 하는 것은 아니며, 신뢰도 정보만으로도 유사한 수준의 성능을 달성할 수 있습니다.

•

라우팅 기반 보정 기법의 효과를 검증할 때는 신뢰도, 대역폭, 용량, 순열 교차 검증 등 일반적인 혼동 요인을 체계적으로 통제하는 것이 필수적입니다.

•

본 연구는 AR 트랜스포머 모델에 국한된 결과를 제시하며, 다른 라우팅 메커니즘이나 아키텍처에서의 일반화 가능성에 대한 추가 연구가 필요합니다.

PDF 보기

Made with Slashpage