Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Scaling Laws for Many-Shot In-Context Learning with Self-Generated Annotations

Created by
  • Haebom

저자

Zhengyao Gu, Henry Peng Zou, Yankai Chen, Aiwei Liu, Weizhi Zhang, Philip S. Yu

개요

본 논문은 인 컨텍스트 러닝(ICL)에서 고품질 주석 데이터 확보의 높은 비용 문제를 해결하기 위해 자체 생성 주석을 사용하는 방법을 연구합니다. 기존의 접근 방식이 소수 샷 설정에서 유망한 결과를 보였지만, 다수 샷 시나리오로 확장하는 데는 어려움이 있었습니다. 본 논문에서는 준지도 학습과 유사한 프레임워크(주석 생성, 예시 선택, 인 컨텍스트 추론)를 사용하여 자체 생성 예시를 이용한 ICL을 연구합니다. 이 프레임워크 내에서, 제안된 간단한 기준 모델은 제로샷, 소수샷, 다수샷 설정에서 기존 지상 진실 ICL을 능가하는 성능을 보입니다. 특히, 1,000개 이상의 예시를 사용할 때 최적의 성능을 달성하는 스케일링 법칙을 관찰했습니다. 다수 샷 ICL의 기능을 충분히 활용하기 위해, 반복적 개선과 커리큘럼 의사 라벨링 기법을 통합한 반복적 주석 접근 방식인 IterPSD를 제시하여 분류 작업에서 최대 6.8%의 성능 향상을 달성했습니다.

시사점, 한계점

시사점:
자체 생성 주석을 이용한 ICL의 효과성을 제로샷, 소수샷, 다수샷 설정에서 모두 입증했습니다.
제안된 간단한 기준 모델은 기존 지상 진실 ICL을 능가하는 성능을 보였습니다.
다수 샷 ICL에서의 스케일링 법칙을 발견했습니다.
IterPSD를 통해 추가적인 성능 향상을 달성했습니다.
한계점:
제안된 방법의 일반화 성능에 대한 추가적인 연구가 필요합니다.
특정 분류 작업에 국한된 결과이므로, 다른 작업으로의 확장성을 검증해야 합니다.
IterPSD와 같은 복잡한 방법의 계산 비용이 높을 수 있습니다.
👍