Answer, Assemble, Ace: Understanding How LMs Answer Multiple Choice Questions
Created by
- Haebom
Category
Empty
저자
Sarah Wiegreffe, Oyvind Tafjord, Yonatan Belinkov, Hannaneh Hajishirzi, Ashish Sabharwal
개요
본 논문은 다양한 형태의 다중 선택 질문 답변(MCQA)에서 성공적인 Transformer 언어 모델의 성능을 분석합니다. 어휘 투영 및 활성 패치 방법을 사용하여 정답 예측에 관련된 정보를 인코딩하는 주요 은닉 상태를 국지화하고, 특정 답변 기호의 예측이 중간 레이어, 특히 다중 헤드 자기 주의 메커니즘에 인과적으로 기인함을 발견했습니다. 후속 레이어는 어휘 공간에서 예측된 답변 기호의 확률을 증가시키며, 이 확률 증가는 고유한 역할을 가진 희소한 주의 헤드 집합과 관련이 있음을 보여줍니다. 또한 서로 다른 모델이 대체 기호에 적응하는 방식의 차이를 밝히고, 합성 작업을 통해 모델 오류의 원인을 분리하여 모델이 형식화된 MCQA를 학습했는지 확인하고, 답변 선택 토큰 간의 로짓 차이가 훈련 과정에서 계속 증가함을 보여줍니다.
시사점, 한계점
•
시사점:
◦
Transformer 모델의 MCQA 성능에 대한 심층적인 이해를 제공합니다.
◦
정답 예측에 기여하는 특정 레이어와 주의 메커니즘을 규명합니다.
◦
모델의 형식화된 MCQA 학습 여부를 판별할 수 있는 합성 작업을 제시합니다.
◦
서로 다른 모델의 MCQA 학습 과정의 차이점을 분석합니다.
•
한계점:
◦
분석 대상이 특정 Transformer 모델에 국한될 수 있습니다.
◦
제시된 합성 작업의 일반화 가능성에 대한 추가 연구가 필요합니다.
◦
다양한 유형의 MCQA 문제에 대한 일반화 가능성을 추가적으로 검증해야 합니다.
