Semi-Supervised In-Context Learning: A Baseline Study
Created by
- Haebom
Category
Empty
저자
Zhengyao Gu, Henry Peng Zou, Yankai Chen, Aiwei Liu, Weizhi Zhang, Philip S. Yu
개요
본 논문은 In-Context Learning (ICL)에서 데이터 선택에 대한 기존 연구들이 주로 ground truth annotations에 집중한 것과 달리, 신뢰할 수 있는 자체 생성 annotations 선택에 초점을 맞춘 연구입니다. 세 단계의 준지도 학습 ICL 프레임워크(annotation generation, demonstration selection, semi-supervised inference)를 제안합니다. 높은 신뢰도의 자체 생성 demonstrations을 ICL 프롬프트에 선택적으로 사용하는 Naive-SemiICL 기법은 16개 데이터셋에서 16-shot baseline보다 평균 9.94% 향상된 성능을 보였습니다. 또한, 의사-demonstrations을 반복적으로 개선하는 IterPSD라는 annotation 접근법을 제시하여 분류 작업에서 최대 6.8%의 추가 성능 향상을 달성했습니다. 마지막으로, 준지도 ICL에서 1,000개 이상의 demonstrations을 사용할 때 최적의 성능을 달성하는 scaling law를 밝혔습니다.
시사점, 한계점
•
시사점:
◦
자체 생성 annotations을 활용한 준지도 ICL 프레임워크의 효용성을 제시.
◦
Naive-SemiICL 및 IterPSD 기법을 통해 기존 ICL 성능 개선.
◦
준지도 ICL의 scaling law를 제시하여 효율적인 데이터 활용 방안 제시.
•
한계점:
◦
제안된 프레임워크의 일반화 성능에 대한 추가적인 실험 필요.
◦
다양한 종류의 task에 대한 적용성 검증 필요.
◦
1000개 이상의 demonstration 사용에 따른 계산 비용 및 효율성 문제 고려 필요.
