본 논문은 장문맥락 언어 모델(LCLMs)의 등장으로 인해 문맥 내 학습(ICL)에서 예시 선택의 중요성이 감소했는지 여부를 조사한다. 18개 데이터셋(4가지 작업)에 대한 광범위한 실험을 통해, 기존의 정교한 예시 선택 기법이 단순 무작위 샘플링보다 유의미한 성능 향상을 가져오지 않는다는 것을 발견했다. 대신, LCLMs에서는 문맥 창을 채울 만큼 충분한 예시를 수집하는 것이 더 중요해졌으며, 데이터 증강을 통해 문맥 창을 최대한 활용하면 ICL 성능을 5% 향상시킬 수 있음을 보였다.
시사점, 한계점
•
시사점: 장문맥락 언어 모델에서는 단순 무작위 샘플링만으로도 충분한 성능을 얻을 수 있으며, 문맥 창 크기를 최대한 활용하는 것이 중요하다. 데이터 증강 기법을 통해 ICL 성능을 향상시킬 수 있다는 것을 제시한다.
•
한계점: 본 연구는 특정 유형의 데이터셋과 작업에 국한되어 있으며, 다른 유형의 데이터셋이나 작업에서는 결과가 다를 수 있다. 또한, 사용된 데이터 증강 기법이 모든 상황에 적용 가능한지는 추가 연구가 필요하다.
