Unlocking In-Context Learning for Natural Datasets Beyond Language Modelling
Created by
Haebom
저자
Jelena Bratulic, Sudhanshu Mittal, David T. Hoffmann, Samuel Bohm, Robin Tibor Schirrmeister, Tonio Ball, Christian Rupprecht, Thomas Brox
개요
본 논문은 대규모 언어 모델(LLM)의 컨텍스트 내 학습(ICL) 능력을 다양한 모달리티(text 외)로 확장하는 연구를 다룬다. 특히, 훈련 데이터 시퀀스 내의 토큰 반복이 ICL에 중요한 역할을 한다는 점과 훈련 과제의 난이도가 ICL의 출현에 영향을 미친다는 점을 밝혔다. 이러한 통찰력을 바탕으로, 시각 데이터셋과 EEG 분류 과제에서 소수 샷 학습 환경에서 ICL 능력을 구현하는 데 성공했다. 핵심적으로, ICL이 자가회귀 모델과 다양한 모달리티에서 효과적으로 작동하도록 하는 LLM의 특성을 체계적으로 밝히고 있다.
시사점, 한계점
•
시사점:
◦
LLM의 ICL 능력을 다양한 모달리티(시각, EEG 등)로 확장 가능성 제시.
◦
ICL 향상을 위한 훈련 데이터 구성 전략 제시 (토큰 반복 활용).
◦
훈련 과제 난이도의 중요성 강조.
◦
소수 샷 학습 환경에서 ICL 성능 개선.
•
한계점:
◦
제시된 통찰력이 모든 유형의 LLM과 모달리티에 일반화될 수 있는지에 대한 추가 연구 필요.
