Daily Arxiv

전 세계에서 발간되는 인공지능 관련 논문을 정리하는 페이지 입니다.
본 페이지는 Google Gemini를 활용해 요약 정리하며, 비영리로 운영 됩니다.
논문에 대한 저작권은 저자 및 해당 기관에 있으며, 공유 시 출처만 명기하면 됩니다.

Boosting In-Context Learning in LLMs Through the Lens of Classical Supervised Learning

Created by
  • Haebom

저자

Korel Gundem, Juncheng Dong, Dennis Zhang, Vahid Tarokh, Zhengling Qi

개요

본 논문은 대규모 언어 모델(LLM)의 In-Context Learning(ICL)에서 나타나는 시스템 편향으로 인한 불안정한 분류 성능 문제를 해결하기 위해 Supervised Calibration(SC) 프레임워크를 제안합니다. 기존의 보정 기법들이 주로 LLM의 의사결정 경계를 이동시키는 데 그치는 한계를 극복하고자, SC는 로짓 공간에서 클래스별 최적의 어파인 변환을 학습하여 의사결정 경계의 방향을 변경하거나 역전시키는 기능을 제공합니다. SC는 기존 방법들을 특수한 경우로 포함하며, context-invariance와 directional trust-region이라는 두 가지 정규화 기법을 통합하여 ICL의 불안정성 문제를 해결하고 보정 정도를 제어합니다. 실험 결과, SC는 다양한 LLM과 데이터셋에서 기존 보정 방법들보다 우수한 성능을 보였습니다.

시사점, 한계점

시사점:
기존 ICL 보정 기법의 한계를 극복하는 새로운 프레임워크인 SC를 제시합니다.
로짓 공간에서 클래스별 어파인 변환을 통해 LLM의 의사결정 경계의 방향까지 제어 가능합니다.
context-invariance와 directional trust-region 정규화 기법을 통해 ICL의 불안정성 문제와 보정 정도를 효과적으로 제어합니다.
다양한 LLM과 데이터셋에서 SOTA 성능을 달성합니다.
한계점:
제안된 방법의 일반화 성능에 대한 추가적인 분석이 필요합니다.
특정 LLM과 데이터셋에 국한된 실험 결과이므로, 다른 LLM이나 데이터셋에 대한 추가적인 실험이 필요합니다.
context-invariance와 directional trust-region 정규화 기법의 파라미터 튜닝에 대한 추가적인 연구가 필요할 수 있습니다.
👍