본 논문은 In-context learning (ICL)을 사용하는 대규모 언어 모델(LLM)의 성능 향상을 위한 새로운 방법론인 DemoShapley와 Beta-DemoShapley를 제안한다. 기존 ICL의 효과는 데모(demonstration)의 선택과 순서에 크게 영향을 받는데, 제안된 방법론은 Data Shapley와 Beta Shapley에서 영감을 받아 각 데모의 영향력을 평가한다. DemoShapley는 다양한 맥락에서 각 예시가 성능에 미치는 영향을 포착하고, Beta-DemoShapley는 Beta 분포를 활용하여 작은 카디널리티에 더 높은 가중치를 부여함으로써 ICL의 프롬프트 길이 및 계산 제약을 고려한다. 실험 결과, 제안된 알고리즘은 양질의 데모를 선택하고 분포 외 작업에 대한 일반화를 향상시켜 모델 성능을 향상시키는 것으로 나타났다. 또한, 노이즈가 포함된 데이터를 식별하고 LLM의 공정성을 증진시켜 다양한 시나리오에서 모델 성능과 강건성을 보장한다.
