본 논문은 대규모 언어 모델(LLM)의 해석성 부족 문제를 해결하기 위해, 눈 움직임 측정을 이용한 인지 관점에서 LLM의 내적 메커니즘을 조사합니다. 인간의 인지 지표와 LLM 표현 간의 계층별 상관관계를 분석하여, LLM의 의미를 조절하기 위한 최적의 조정 계층을 선택하는 휴리스틱 접근 방식을 제안합니다. 기존의 모든 계층 또는 최종 계층만 조정하는 매개변수 효율적인 미세 조정 방법을 기반으로 효율적인 선택적 계층 개입을 도입하고, 추론 중 암시적 계층 대조 개입을 통해 유해한 출력을 방지합니다. GPT-2, Llama2-7B, Mistral-7B에 대한 자연어 이해, 추론 및 생성 작업에 대한 광범위한 실험을 통해 접근 방식의 효과성과 효율성을 입증하며, 모델에 독립적인 프레임워크로서 LLM의 해석성을 향상시키고 안전한 배포를 위한 효율성을 높입니다.
