Transformer 모델은 파라미터 업데이트 없이 데모에 의존하여 새로운 작업에 적응하는 놀라운 문맥 내 학습(ICL) 능력을 보여주었습니다. ICL이 일반적인 학습자로서 작업별 모델보다 성능이 우수할 수 있다는 실증적, 이론적 증거가 있지만, ICL이 원리 기반 학습 알고리즘에 비해 문맥 내에서 얼마나 최적으로 학습하는지는 불분명합니다. 이 문제를 조사하기 위해, 각 프롬프트가 계층적 분포에서 도출된 대상 함수를 정의하는 독특한 회귀 작업을 정의하는 메타 ICL 프레임워크를 사용했습니다. 이 프레임워크 내에서, 베이즈 최적 추정기를 포함한 원리 기반 학습 알고리즘과 비교하여 ICL의 샘플 복잡성을 다양한 성능 요구 사항 하에서 벤치마킹했습니다.
