From Cross-Task Examples to In-Task Prompts: A Graph-Based Pseudo-Labeling Framework for In-context Learning
Created by
Haebom
저자
Zihan Chen, Song Wang, Xingbo Fu, Chengshuai Shi, Zhenyu Lei, Cong Shen, Jundong Li
개요
본 논문은 대규모 언어 모델(LLM)이 입력-출력 예시를 통해 새로운 작업을 수행하는 문맥 내 학습(ICL) 능력을 활용하여 데이터 레이블링에 대한 LLM 의존도를 줄이는 비용 효율적인 2단계 파이프라인을 제안합니다. 제안된 방법은 먼저 기존의 다른 작업의 예시를 사용하여 LLM을 프롬프트하여 대상 작업의 소규모 인스턴스 집합에 의사 레이블을 지정합니다. 그런 다음 그래프 기반 레이블 전파 방식을 도입하여 추가 LLM 쿼리 없이 레이블 정보를 나머지 대상 예시로 전파합니다. 최종적으로 의사 레이블링된 데이터 세트를 사용하여 ICL에 대한 작업 내 데모를 구성합니다. 이 파이프라인은 다른 작업의 지도 학습의 유연성과 LLM 없는 전파의 확장성을 결합합니다. 다섯 가지 작업에 대한 실험을 통해 제안된 방법이 레이블링 비용을 절감하면서 강력한 성능을 달성함을 입증했습니다.
