본 논문은 맥락 정보(검색 또는 사용자 제공)를 활용하여 언어 모델(LM)의 응답 정확도를 높이는 방법을 제시합니다. 기존 연구에서 LM이 잡음과 무관한 정보가 포함된 맥락에서 핵심 증거를 완전히 이해하고 활용하는 데 어려움을 겪는다는 점을 발견했습니다. 이를 해결하기 위해, 본 논문에서는 SelfElicit라는 추론 시간 접근 방식을 제안합니다. SelfElicit는 LM의 심층 계층 어텐션 점수를 활용하여 입력 맥락 내의 핵심 증거를 자동으로 식별하고 강조함으로써, 추가 학습이나 반복 프롬프트 없이 더 정확하고 근거 있는 응답을 생성하도록 돕습니다. 다양한 LM 계열에 걸쳐 여러 증거 기반 질의응답 작업에서 일관되고 상당한 성능 향상을 보이며, 계산 효율성도 유지합니다. 코드와 설명서는 https://github.com/ZhiningLiu1998/SelfElicit 에서 확인할 수 있습니다.
