phi-2 변환 모델이 문장의 의미적 오류를 어떻게 감지하는지 탐구하기 위해, 그럴듯하거나 그럴듯하지 않은 문장으로 구성된 코퍼스를 사용하여 모델을 평가했습니다. 각 모델 레이어에서 샘플링된 은닉 상태를 분석하고, 선형 프로브를 사용하여 레이어별 탐지를 수행했습니다. 또한, 인코딩된 위반의 효과적인 차원을 조사했습니다.
시사점, 한계점
•
시사점:
◦
선형 프로브를 사용한 레이어별 탐지 결과, 모델 하위 레이어에서는 그럴듯한 문장과 그럴듯하지 않은 문장의 구분이 어려웠지만, 중간 레이어에서 정확도가 급격히 증가하여 상위 레이어 직전에서 최고점에 도달했습니다.
◦
위반은 초기에는 표현 공간을 확장시키고, 중간 스택 병목 현상 이후에 축소되는 현상을 보였습니다.
◦
이러한 결과는 인간의 언어 처리에서 나타나는 심리언어학적 연구 결과와 유사하게, 의미론적 이상이 구문론적 해결 이후에 감지될 수 있음을 시사합니다.
