본 논문은 높은 품질의 주석 데이터에 의존하는 In-context Learning (ICL)에서 노이즈가 많은 주석 데이터를 처리하는 새로운 방법을 제시합니다. 기존의 perplexity 기반 방법은 노이즈가 많은 샘플이 높은 perplexity를 가진다는 가정하에 노이즈를 탐지하지만, 노이즈 비율이 높을 경우 이 가정이 깨집니다. 본 논문은 perplexity 기반 방법의 두 가지 bias (주석 자체의 bias와 LLM에 내재된 도메인 특정 지식의 bias)를 지적하고, 합성된 이웃 데이터를 활용하여 perplexity 추정치를 명시적으로 수정하는 이중 debiased framework를 제안합니다. 이를 통해 전체 corpus의 노이즈 수준에 관계없이 샘플의 청결도를 측정하는 Sample Cleanliness Score를 도출합니다. 실험 결과, 제안된 방법이 기존 방법보다 우수한 노이즈 탐지 성능을 보이며, 완전히 깨끗한 데이터를 사용한 ICL 성능과 유사한 성능을 달성함을 보여줍니다. 특히, 매우 높은 노이즈 비율에서도 강건함을 유지합니다.
