본 논문은 대규모 언어 모델(LLM)이 입력 시퀀스의 무관하거나 노이즈가 많은 컨텍스트에 의해 성능이 저하되는 문제를 해결하기 위해, Early Noise Dropping (END) 기법을 제안합니다. END는 입력 시퀀스를 청크로 나누고, LLM의 초기 레이어에 선형 프로브를 사용하여 유용한 정보와 노이즈 청크를 구분합니다. 노이즈 청크를 조기에 제거함으로써 중요한 정보를 보존하고, 방해 요소를 줄이며, 계산 오버헤드를 낮춥니다. 다양한 LLM과 평가 데이터셋에 대한 실험 결과, END가 성능과 효율성을 모두 크게 향상시키는 것을 보여줍니다. 또한, 프로브를 이용하여 LLM의 입력에 대한 암묵적인 이해를 조사함으로써 LLM이 내부적으로 컨텍스트를 사용하여 추론하는 방식에 대한 이해를 심화시킵니다.
시사점, 한계점
•
시사점:
◦
LLM의 초기 레이어가 입력 시퀀스의 유용성을 식별하는 능력을 활용하여 성능 향상을 도모하는 새로운 방법 제시.
